python语义分析api

㈠ python数据分析需要哪些库

1.Numpy库
是Python开源的数值计算扩展工具，提供了Python对多维数组的支持，能够支持高级的维度数组与矩阵运算。此外，针对数组运算也提供了大量的数学函数库，Numpy是大部分Python科学计算的基础，具有很多功能。
2.Pandas库
是一个基于Numpy的数据分析包，为了解决数据分析任务而创建的。Pandas中纳入了大量库和标准的数据模型，提供了高效地操作大型数据集所需要的函数和方法，使用户能快速便捷地处理数据。
3.Matplotlib库
是一个用在Python中绘制数组的2D图形库，虽然它起源于模仿MATLAB图形命令，但它独立于MATLAB，可以通过Pythonic和面向对象的方式使用，是Python中Z出色的绘图库。主要用纯Python语言编写的，它大量使用Numpy和其他扩展代码，即使对大型数组也能提供良好的性能。
4.Seaborn库
是Python中基于Matplotlib的数据可视化工具，提供了很多高层封装的函数，帮助数据分析人员快速绘制美观的数据图形，从而避免了许多额外的参数配置问题。
5.NLTK库
被称为使用Python进行教学和计算语言学工作的Z佳工具，以及用自然语言进行游戏的神奇图书馆。NLTK是一个领先的平台，用于构建使用人类语言数据的Python程序，它为超过50个语料库和词汇资源提供了易于使用的接口，还提供了一套文本处理库，用于分类、标记化、词干化、解析和语义推理、NLP库的包装器和一个活跃的讨论社区。

㈡ 好用的python入门书籍

关于python的好书很多，这里从入门到进阶以此给你推荐一些：
1.Python编程：入门到实践
理论和实践恰到好处，行文逻辑流畅，不跳跃，手把手教的感觉，却绝不啰嗦，非常适合入门。小编强烈推荐这本书，书中涵盖的内容是比较精简的，没有艰深晦涩的概念，最重要的是每个小结都附带有”动手试一试”环节，学编程最佳的方式就是多动动手、多动动脑。
2.Python基础教程第2版
学习一门编程语言的最好方法就是真正使用它
这本书内容涉及的范围较广，既能为初学者夯实基础，又能帮助程序员提升技能，适合各个层次的Python开发人员阅读参考。
3.笨办法学Python
编程入门的必备书，从一个个的小例子入手，不仅是教你写Python代码，还有编程的技巧。
这是一本Python入门书籍，适合对计算机了解不多，没有学过编程，但对编程感兴趣的读者学习使用。这本书以习题的方式引导读者一步一步学习编程，从简单的打印一直讲到完整项目的实现，让初学者从基础的编程技术入手，最终体验到软件开发的基本过程。
4.Python for data analysis
还在苦苦寻觅用Python控制、处理、整理、分析结构化数据的完整课程？本书含有大量的实践案例，你将学会如何利用各种Python库高效地解决各式各样的数据分析问题。这本书介绍了ipython 、notebook、Numpy、Scipy和Pandas包的使用等，只要掌握了python的基本语法就可以学习。

㈢ Python C API使用时需要注意什么

一：用C API为Python写C语言函数，以方便Python中调用

1. 首先实现一个特定原型的函数，用Python C API来实现的话，所有函数必须是这种原型。必须是类似这样的
PyObject *Fun(PyObject *self, PyObject *args)
self应该是在用类的时候才会用到（我没有用到），args就是函数的参数。因为args是一个PyObject*类型（可以代表Python语言中的任何类型）
2. 将参数转换成C 语言表示的内容，用PyArg_ParseTuple函数。
3. 执行完需要的操作后，也必须返回一个PyObject*类型的值。通过Py_BuildValue函数来构建。
这里要说的是，假如希望返回一个Tuple类型的值，可以先用
PyObject *tuple = Py_BuildValue("(iis)", 1, 2, "three");
形式来构建，假如很多的话，可以用下面的方式来构建
PyObject *t;

t = PyTuple_New(3);
PyTuple_SetItem(t, 0, PyLong_FromLong(1L));
PyTuple_SetItem(t, 1, PyLong_FromLong(2L));
PyTuple_SetItem(t, 2, PyString_FromString("three"));
这一点在刚开始开工的时候迷惑了很久。
4. 将要输出的所有函数放入一个数组中，数组的结构是：
struct PyMethodDef {
const char *ml_name; /* The name of the built-in function/method */
PyCFunction ml_meth; /* The C function that implements it */
int ml_flags; /* Combination of METH_xxx flags, which mostly
describe the args expected by the C func */
const char *ml_doc; /* The __doc__ attribute, or NULL */
};
数组以{NULL, NULL}结束
5. 构造一个Python import时初始化的函数
类似
PyMODINIT_FUNC
initexample(void)
{
Py_InitMole("example", example_methods);
}
这里有个特别需要注意的是，初始化函数名字有严格要求，init后面必须跟模块名，否则Python找不到确定的函数会报没有初始化函数的错误

扩展模块写完后，编译成动态库（Python要求此动态库名字为pyd,实际就是改个后缀而已）。就可以直接在Python脚本中用import的方式加载了，对于使用来说，根本不需要知道此库是用C API扩展写的还是直接用Python语句写的（这点Lua做的也是一样好）
最后，python的源代码中附带了一个叫做example_nt的例子，可以参考一样，完整的扩展代码如下：
#include "Python.h"

static PyObject *
ex_foo(PyObject *self, PyObject *args)
{
printf("Hello, world/n");
Py_INCREF(Py_None);
return Py_None;
}

static PyMethodDef example_methods[] = {
{"foo", ex_foo, METH_VARARGS, "foo() doc string"},
{NULL, NULL}
};

PyMODINIT_FUNC
initexample(void)
{
Py_InitMole("example", example_methods);
}

二．C语言中调用Python语句
首先，void Py_Initialize()用来初始化，void Py_Finalize()用来结束Python的调用，这是必须要的。
燃火分两种情况，假如仅仅是几条语句的话，那么以PyRun_为前缀的一些函数都很好用，比如
int PyRun_SimpleString(const char *command)
函数就可以直接执行一条char*的Python语句。
需要获得返回值得话
PyObject* PyRun_String(const char *str, int start, PyObject *globals, PyObject *locals)
也很好用，以上两个函数用来处理Python源代码已经读入内存的情况，在文件中的时候
int PyRun_SimpleFile(FILE *fp, const char *filename)
PyObject* PyRun_File(FILE *fp, const char *filename, int start, PyObject *globals, PyObject *locals)
使用类似。不多讲了。
假如是个模块的话（比如一个函数），希望在C语言中调用的话那么使用起来就稍微复杂了一点。这种情况的需要在于你可以从C语言中向Python函数中传入参数并且执行，然后获取结果。
此处又分为几种情况：
在文件中，在内存中，编译过的，源代码。
在文件中都很好解决，和上面一样。这里主要讲在内存中的情况。（事实上我工作中需要并且耗费了很长时间才找到解决方法的就是这种情况）
未编译时：（也就是源代码）
1.通过
PyObject* Py_CompileString(const char *str, const char *filename, int start)
API首先编译一次。此API的参数我说明一下，str就是内存中的源代码，filename主要是出错时报错误用的，事实测试证明，你随意给个字符串也没有关系，但给NULL参数在运行时必然报错。start我一般用的是Py_file_input，因为的确是从文件中读取过来的，相对的还有Py_single_input用来表示一条语句，Py_eval_input的用法我也不是太清楚。
源代码通过此函数调用后，获得编译后的PyObject*,（其实假如跟进源代码中去看，是一个PyCodeObject结构）假设命名为lpCode。
2.此时再调用API
PyObject* PyImport_ExecCodeMole(char *name, PyObject *co)
导入模块。参数也说明一下，name为导入的模块名，co就是前面编译过的代码对象（lpCode）。返回的就是模块对象了，假设命名为lpMod。
3.再调用API
PyObject* PyObject_GetAttrString(PyObject *o, const char *attr_name)
获得函数对象。o就是模块对象（lpMod）,attr_name就是你想要调用的函数名了，假设叫main的函数，就是”main”，然后返回的就是函数对象，假设命名为lpFun。
4.此时可以用API
int PyCallable_Check(PyObject *o)
去检查一下是不是获得了一个函数。假如确定的话，就可以直接用
PyObject_Call开头的一族函数调用lpFun了。这些函数包括很多，一般就是输入参数的不同，但是效果都是一样的，就是调用函数而已。参数一般可以通过前面说过的build函数来获得，返回值也是获得一个PyObject*,可以通过PyArg_那个函数来获取，但是好像不太好，那是分析参数用的。推荐用确定类型（假设为type）的类似Py[type]_As的函数来获取。
比如：
long PyLong_AsLong(PyObject *pylong)获取long
double PyLong_AsDouble(PyObject *pylong)获取double

这里想说的是，应该有直接从源代码中获取函数调用对象的方式，但是我本人没有试出来，有人知道请一定赐教！

编译过的代码：
对于编译过的代码和上面就是获得编译后的PyCodeObject对象,当然在源代码中表示还是PyObject*的方法不同（上例中的lpCode）。
当然要想以后获得一个编译后的lpCode,自然要先编译一下啦。但是纯粹编译成pyc结尾的文件后，直接读入内存，我没有找到将其转化为PyCodeObject对象的方法（也希望有人知道能告诉我！）

我找到的方法是先用
PyObject* PyMarshal_WriteObjectToString(PyObject *value, int version)
void PyMarshal_WriteLongToFile(long value, FILE *file, int version)
两个函数先把PyCodeObject对象(lpCode)序列化到文件或者内存中。
再在需要的时候用函数
PyObject* PyMarshal_ReadObjectFromFile(FILE *file)
PyObject* PyMarshal_ReadObjectFromString(char *string, Py_ssize_t len)
读出来，读出来的PyObject*其实就是想要的PyCodeObject对象了(lpCode)。接下来的步骤与未编译时的步骤一样。
光是这个扭曲的方法我还是参考老总给的半边资料反复研究出来的。而真正直接有效的方法我还是没有找到。

㈣ 2017年10大流行Python库有哪些

1、NumPy
NumPy是构建科学计算 stack 的最基础的包。它为 Python 中的 n 维数组和矩阵的操作提供了大量有用的功能。该库还提供了 NumPy 数组类型的数学运算向量化，可以提升性能，从而加快执行速度。

2、SciPy
SciPy 是一个工程和科学软件库， 包含线性代数、优化、集成和统计的模块。SciPy 库的主
要功能建立在 NumPy 的基础之上，它通过其特定的子模块提供高效的数值例程操作。SciPy 的所有子模块中的函数都有详细的文档，这也是一个优势。
3、Pandas
Pandas是一个 Python 包，旨在通过“标记(labeled)”和“关系(relational)”数据进行工作，简单直观。Pandas 是 data wrangling 的完美工具。它设计用于快速简单的数据操作、聚合和可视化。
4、Seaborn
Seaborn 主要关注统计模型的可视化;这种可视化包括热度图(heat map)，可以总结数据但也描绘总体分布。Seaborn 基于 Matplotlib，并高度依赖于它。
5、Bokeh
Bokeh是一个很好的可视化库，其目的是交互式可视化，不过这个库独立于 Matplotlib，它通过现代浏览器以数据驱动文档(D3.js)的风格呈现。
6、Scikits
Scikits 是 SciPy Stack 的附加软件包，专为特定功能(如图像处理和辅助机器学习)而设计。其中最突出的一个是 scikit-learn。该软件包构建于 SciPy 之上，并大量使用其数学操作，是使用 Python 进行机器学习的实际上的行业标准。
7、Theano
Theano 是一个 Python 包，它定义了与 NumPy 类似的多维数组，以及数学运算和表达式。该库是经过编译的，使其在所有架构上能够高效运行。这个库最初由蒙特利尔大学机器学习组开发，主要是为了满足机器学习的需求。
8、Keras
Keras是一个使用高层接口构建神经网络的开源库，它是用 Python 编写的。它简单易懂，具有高级可扩展性。Keras 极其容易上手，而且可以进行快速的原型设计，足以用于严肃的建模。
9、Gensim
Gensim是一个用于 Python 的开源库，实现了用于向量空间建模和主题建模的工具。Gensim 实现了诸如分层 Dirichlet 进程(HDP)、潜在语义分析(LSA)和潜在 Dirichlet 分配(LDA)等算法，还有 tf-idf、随机投影、word2vec 和 document2vec，以便于检查一组文档(通常称为语料库)中文本的重复模式。
10、Scrapy
Scrapy 是用于从网络检索结构化数据的爬虫程序的库。它现在已经发展成了一个完整的框架，可以从 API 收集数据，也可以用作通用的爬虫。该库在接口设计上遵循着名的 Don’t Repeat Yourself 原则——提醒用户编写通用的可复用的代码，因此可以用来开发和扩展大型爬虫。

㈤ python实现过哪些有趣的语义分析项目

该数据集包含数据有150行*5列。前4列分别是：花萼的长度、宽度，花瓣的长度、宽度；最后一列是花的分类，总共分3类。

㈥ 最受欢迎的 15 大 Python 库有哪些

1、Pandas：是一个Python包，旨在通过“标记”和“关系”数据进行工作，简单直观。它设计用于快速简单的数据操作、聚合和可视化，是数据整理的完美工具。
2、Numpy：是专门为Python中科学计算而设计的软件集合，它为Python中的n维数组和矩阵的操作提供了大量有用的功能。该库提供了NumPy数组类型的数学运算向量化，可以改善性能，从而加快执行速度。
3、SciPy：是一个工程和科学软件库，包含线性代数，优化，集成和统计的模块。SciPy库的主要功能是建立在NumPy上，通过其特定子模块提供有效的数值例程，并作为数字积分、优化和其他例程。
4、Matplotlib：为轻松生成简单而强大的可视化而量身定制，它使Python成为像MatLab或Mathematica这样的科学工具的竞争对手。
5、Seaborn：主要关注统计模型的可视化(包括热图)，Seaborn高度依赖于Matplotlib。
6、Bokeh：独立于Matplotlib，主要焦点是交互性，它通过现代浏览器以数据驱动文档的风格呈现。
7、Plotly：是一个基于Web用于构建可视化的工具箱，提供API给一些编程语言(Python在内)。
8、Scikits：是Scikits
Stack额外的软件包，专为像图像处理和机器学习辅助等特定功能而设计。它建立在SciPy之上，中集成了有质量的代码和良好的文档、简单易用并且十分高效，是使用Python进行机器学习的实际行业标准。
9、Theano：是一个Python软件包，它定义了与NumPy类似的多维数组，以及数学运算和表达式。此库是被编译的，可实现在所有架构上的高效运行。
10、TensorFlow：是数据流图计算的开源库，旨在满足谷歌对训练神经网络的高需求，并且是基于神经网络的机器学习系统DistBelief的继任者，可以在大型数据集上快速训练神经网络。
11、Keras：是一个用Python编写的开源的库，用于在高层的接口上构建神经网络。它简单易懂，具有高级可扩展性。
12、NLTK：主要用于符号学和统计学自然语言处理(NLP) 的常见任务，旨在促进NLP及相关领域(语言学，认知科学人工智能等)的教学和研究。
13、Gensim：是一个用于Python的开源库，为有向量空间模型和主题模型的工作提供了使用工具。这个库是为了高效处理大量文本而设计，不仅可以进行内存处理，还可以通过广泛使用NumPy数据结构和SciPy操作来获得更高的效率。

㈦ Python中文分词的原理你知道吗

中文分词，即 Chinese Word Segmentation，即将一个汉字序列进行切分，得到一个个单独的词。表面上看，分词其实就是那么回事，但分词效果好不好对信息检索、实验结果还是有很大影响的，同时分词的背后其实是涉及各种各样的算法的。

中文分词与英文分词有很大的不同，对英文而言，一个单词就是一个词，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，需要人为切分。根据其特点，可以把分词算法分为四大类：

基于规则的分词方法

基于统计的分词方法

基于语义的分词方法

基于理解的分词方法

下面我们对这几种方法分别进行总结。

基于规则的分词方法

这种方法又叫作机械分词方法、基于字典的分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配。若在词典中找到某个字符串，则匹配成功。该方法有三个要素，即分词词典、文本扫描顺序和匹配原则。文本的扫描顺序有正向扫描、逆向扫描和双向扫描。匹配原则主要有最大匹配、最小匹配、逐词匹配和最佳匹配。

最大匹配法（MM）。基本思想是：假设自动分词词典中的最长词条所含汉字的个数为 i，则取被处理材料当前字符串序列中的前 i 个字符作为匹配字段，查找分词词典，若词典中有这样一个 i 字词，则匹配成功，匹配字段作为一个词被切分出来；若词典中找不到这样的一个 i 字词，则匹配失败，匹配字段去掉最后一个汉字，剩下的字符作为新的匹配字段，再进行匹配，如此进行下去，直到匹配成功为止。统计结果表明，该方法的错误率 为 1/169。

逆向最大匹配法（RMM）。该方法的分词过程与 MM 法相同，不同的是从句子（或文章）末尾开始处理，每次匹配不成功时去掉的是前面的一个汉字。统计结果表明，该方法的错误率为 1/245。

逐词遍历法。把词典中的词按照由长到短递减的顺序逐字搜索整个待处理的材料，一直到把全部的词切分出来为止。不论分词词典多大，被处理的材料多么小，都得把这个分词词典匹配一遍。

设立切分标志法。切分标志有自然和非自然之分。自然切分标志是指文章中出现的非文字符号，如标点符号等；非自然标志是利用词缀和不构成词的词（包 括单音词、复音节词以及象声词等）。设立切分标志法首先收集众多的切分标志，分词时先找出切分标志，把句子切分为一些较短的字段，再用 MM、RMM 或其它的方法进行细加工。这种方法并非真正意义上的分词方法，只是自动分词的一种前处理方式而已，它要额外消耗时间扫描切分标志，增加存储空间存放那些非 自然切分标志。

最佳匹配法（OM）。此法分为正向的最佳匹配法和逆向的最佳匹配法，其出发点是：在词典中按词频的大小顺序排列词条，以求缩短对分词词典的检索时 间，达到最佳效果，从而降低分词的时间复杂度，加快分词速度。实质上，这种方法也不是一种纯粹意义上的分词方法，它只是一种对分词词典的组织方式。OM 法的分词词典每条词的前面必须有指明长度的数据项，所以其空间复杂度有所增加，对提高分词精度没有影响，分词处理的时间复杂度有所降低。

此种方法优点是简单，易于实现。但缺点有很多：匹配速度慢；存在交集型和组合型歧义切分问题；词本身没有一个标准的定义，没有统一标准的词集；不同词典产生的歧义也不同；缺乏自学习的智能性。

基于统计的分词方法

该方法的主要思想：词是稳定的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻出现的概率或频率能较好地反映成词的可信度。可以对训练文本中相邻出现的各个字的组合的频度进行统计，计算它们之间的互现信息。互现信息体现了汉字之间结合关系的紧密程度。当紧密程 度高于某一个阈值时，便可以认为此字组可能构成了一个词。该方法又称为无字典分词。

该方法所应用的主要的统计模型有：N 元文法模型（N-gram）、隐马尔可夫模型（Hiden Markov Model，HMM）、最大熵模型（ME）、条件随机场模型（Conditional Random Fields，CRF）等。

在实际应用中此类分词算法一般是将其与基于词典的分词方法结合起来，既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。

基于语义的分词方法

语义分词法引入了语义分析，对自然语言自身的语言信息进行更多的处理，如扩充转移网络法、知识分词语义分析法、邻接约束法、综合匹配法、后缀分词法、特征词库法、矩阵约束法、语法分析法等。

扩充转移网络法

该方法以有限状态机概念为基础。有限状态机只能识别正则语言，对有限状态机作的第一次扩充使其具有递归能力，形成递归转移网络 （RTN）。在RTN 中，弧线上的标志不仅可以是终极符（语言中的单词）或非终极符（词类），还可以调用另外的子网络名字分非终极符（如字或字串的成词条件）。这样，计算机在 运行某个子网络时，就可以调用另外的子网络，还可以递归调用。词法扩充转移网络的使用， 使分词处理和语言理解的句法处理阶段交互成为可能，并且有效地解决了汉语分词的歧义。

矩阵约束法

其基本思想是：先建立一个语法约束矩阵和一个语义约束矩阵， 其中元素分别表明具有某词性的词和具有另一词性的词相邻是否符合语法规则， 属于某语义类的词和属于另一词义类的词相邻是否符合逻辑，机器在切分时以之约束分词结果。

基于理解的分词方法

基于理解的分词方法是通过让计算机模拟人对句子的理解，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。目前基于理解的分词方法主要有专家系统分词法和神经网络分词法等。

专家系统分词法

从专家系统角度把分词的知识（包括常识性分词知识与消除歧义切分的启发性知识即歧义切分规则）从实现分词过程的推理机中独立出来，使知识库的维护与推理机的实现互不干扰，从而使知识库易于维护和管理。它还具有发现交集歧义字段和多义组合歧义字段的能力和一定的自学习功能。

神经网络分词法

该方法是模拟人脑并行，分布处理和建立数值计算模型工作的。它将分词知识所分散隐式的方法存入神经网络内部，通过自学习和训练修改内部权值，以达到正确的分词结果，最后给出神经网络自动分词结果，如使用 LSTM、GRU 等神经网络模型等。

神经网络专家系统集成式分词法

该方法首先启动神经网络进行分词，当神经网络对新出现的词不能给出准确切分时，激活专家系统进行分析判断，依据知识库进行推理，得出初步分析，并启动学习机制对神经网络进行训练。该方法可以较充分发挥神经网络与专家系统二者优势，进一步提高分词效率。

以上便是对分词算法的基本介绍。

㈧ Python 循环检测 API

1、for循环不是这样用的，你这个是while。

2、请求多了一个html，没有html这个对象。

3、是get方法返回值，读的text属性，这个返回是str文本，不能用dict方式读取，要改成json（）方法。

4、返回的结果，data键的值不是列表，不需要[0]下标

㈨ Python数据分析库有哪些

1.Numpy库
是Python开源的数值计算扩展工具，提供了Python对多维数组的支持，能够支持高级的维度数组与矩阵运算。此外，针对数组运算也提供了大量的数学函数库，Numpy是大部分Python科学计算的基础，具有很多功能。
2.Pandas库
是一个基于Numpy的数据分析包，为了解决数据分析任务而创建的。Pandas中纳入了大量库和标准的数据模型，提供了高效地操作大型数据集所需要的函数和方法，使用户能快速便捷地处理数据。
3.Matplotlib库
是一个用在Python中绘制数组的2D图形库，虽然它起源于模仿MATLAB图形命令，但它独立于MATLAB，可以通过Pythonic和面向对象的方式使用，是Python中最出色的绘图库。主要用纯Python语言编写的，它大量使用Numpy和其他扩展代码，即使对大型数组也能提供良好的性能。
4.Seaborn库
是Python中基于Matplotlib的数据可视化工具，提供了很多高层封装的函数，帮助数据分析人员快速绘制美观的数据图形，从而避免了许多额外的参数配置问题。
5.NLTK库
被称为使用Python进行教学和计算语言学工作的最佳工具，以及用自然语言进行游戏的神奇图书馆。NLTK是一个领先的平台，用于构建使用人类语言数据的Python程序，它为超过50个语料库和词汇资源提供了易于使用的接口，还提供了一套文本处理库，用于分类、标记化、词干化、解析和语义推理、NLP库的包装器和一个活跃的讨论社区。