文本语义分析算法

⑴ 什么是文本分析

  文本分析是将非结构化文本数据转换为有意义的数据进行分析的过程，以度量客户意见、产品评论、反馈，提供搜索工具、情感分析和实体建模，以支持基于事实的决策制定。文本分析使用了许多语言、统计和机器学习技术。文本分析包括从非结构化数据中检索信息，以及对输入文本进行结构化以得出模式和趋势，并对输出数据进行评估和解释的过程。它还包括词汇分析、分类、聚类、模式识别、标签、注释、信息提取、链接和关联分析、可视化和预测分析
  分析从数以百万计的不同的文件和格式的文本数据中，决定出关键字、主题、类别、语义、标签。文本分析这个术语大致等同于文本挖掘。
  文本分析软件解决方案提供工具、服务器、基于分析算法的应用程序、数据挖掘和提取工具，用于将非结构化数据转换为有意义的数据进行分析。输出(提取的实体、事实、关系)通常存储在关系、XML和其他数据仓库应用程序中，以便由其他工具(如商业智能工具或大数据分析或预测分析工具)进行分析。

  大数据分析、数据挖掘和文本分析以及统计数据为业务用户提供了通过发现结构化和非结构化数据中的模式和关系来创建智能预测的功能。

⑵ 基于语义的文本聚类有哪些方法

聚类分析是一种无监督的机器学习方法，能有效地组织文本信息，应用非常广泛，而大部分文本聚类算法都采用向量空间模型表示文本对象

⑶ 经典大规模文本相似识别架构和算法总结

在数据分析和挖掘领域，我们经常需要知道个体间差异大小，从而计算个体相似性。如今互联网内容爆发时代，针对海量文本的相似识别拥有极大需求。本文将通过识别两段文本是否相似，来看看常见的相似算法，及线上落地方案。

一般情况下，我们会将数据进行向量化，将问题抽象为数学问题。比如两个样本X、Y，X=（x1, x2, x3, … xn），Y=（y1, y2, y3, … yn）表示N维向量空间的两个样本，分析差异主要有距离度量和相似度度量。

文本向量化有很多方法，切词、ngram是最常用方法。一般的，分词加预处理能更好的表达语义，我们通过预处理，过滤掉无效字符及停用词。

对"组装衣柜，刚买不久" 和 "组装鞋柜，全新"向量化

距离（Distance）用于衡量样本在空间上的距离，距离越大，差异越大。

欧氏距离是最容易直观理解的距离度量方法，我们认知中两个点在空间中的距离就是欧氏距离。扩展到高维空间中，欧式距离的计算公式如图1：

图1 欧氏距离欧式距离因为计算是基于各维度特征的绝对数值，所以欧氏度量需要保证各维度指标在相同的刻度级别，当不同维度单位不同将使距离失去意义。

余弦相似度用向量空间中两个向量夹角余弦值作为衡量两个个体间差异的大小。余弦相似度更加注重两个向量在方向上的差异，而非距离或长度。公式如图2：

图2 余弦相似度

通过三维坐标系可以很直观的看到两者的区别，如图3所示：

图3 欧式距离和余弦相似度区别

欧氏距离和余弦相似度各自的计算方式和衡量特征，分别适用于不同的数据分析模型：欧式距离适应于需要从维度大小中体现差异的场景，余弦相似度更多的是方向上的差异。如果我们分词后，将每个词赋予一定的权重，那么可以使用欧氏距离。更多情况下，我们采用余弦相似度来计算两文本之间相似度。

上面的相似算法，适用于小量样本，两两计算。那么在大规模样本下，给定新的样本怎么找到相似的样本呢？
下面我们将引入 SimHash 算法。

SimHash是Google在2007年发表的一种指纹生成算法或者叫指纹提取算法（如图4），其主要思想是降维。

图4 SimHash算法

算法主要原理分为这几步：

大家可能存在疑问：生成一串二进制需要这么麻烦吗？直接用hash函数生成0和1的不是更简单。比如：md5和hashcode等。

可以看得出来，相似两个文本，simhash局部变化而普通的hashcode却天壤之别。文本转换为SimHash后，我们通过海明距离（Hamming distance）计算两个SimHash是否相似。

Google的论文给出的数据中，64位的签名，在汉明距离为3的情况下， 可认为两篇文档是相似。

为了查询相似，我们依然需要两两比较。但汉明距离算法给了我们降维的捷径。

可以证明，汉明距离小于3情况下，将hash code等分为4份，则必有一份完全相同。

基于上述特点，我们设计一个MySQL存储索引方案来实现，如图5所示。

图5 MySQL存储索引方案

⑷ NLP第十篇-语义分析

对于不同的语言单位，语义分析的任务各不相同。在词的层次上，语义分析的基本任务是进行 词义消歧（WSD） ，在句子层面上是 语义角色标注（SRL） ，在篇章层面上是 指代消歧 ，也称共指消解。

词义消歧

由于词是能够独立运用的最小语言单位，句子中的每个词的含义及其在特定语境下的相互作用构成了整个句子的含义，因此，词义消歧是句子和篇章语义理解的基础，词义消歧有时也称为词义标注，其任务就是确定一个多义词在给定上下文语境中的具体含义。

词义消歧的方法也分为有监督的消歧方法和无监督的消歧方法，在有监督的消歧方法中，训练数据是已知的，即每个词的词义是被标注了的；而在无监督的消歧方法中，训练数据是未经标注的。

多义词的词义识别问题实际上就是该词的上下文分类问题，还记得词性一致性识别的过程吗，同样也是根据词的上下文来判断词的词性。

有监督词义消歧根据上下文和标注结果完成分类任务。而无监督词义消歧通常被称为聚类任务，使用聚类算法对同一个多义词的所有上下文进行等价类划分，在词义识别的时候，将该词的上下文与各个词义对应上下文的等价类进行比较，通过上下文对应的等价类来确定词的词义。此外，除了有监督和无监督的词义消歧，还有一种基于词典的消歧方法。

在词义消歧方法研究中，我们需要大量测试数据，为了避免手工标注的困难，我们通过人工制造数据的方法来获得大规模训练数据和测试数据。其基本思路是将两个自然词汇合并，创建一个伪词来替代所有出现在语料中的原词汇。带有伪词的文本作为歧义原文本，最初的文本作为消歧后的文本。

有监督的词义消歧方法

有监督的词义消歧方法通过建立分类器，用划分多义词上下文类别的方法来区分多义词的词义。

基于互信息的消歧方法

基于互信息的消歧方法基本思路是，对每个需要消歧的多义词寻找一个上下文特征，这个特征能够可靠地指示该多义词在特定上下文语境中使用的是哪种语义。

互信息是两个随机变量X和Y之间的相关性，X与Y关联越大，越相关，则互信息越大。

这里简单介绍用在机器翻译中的Flip-Flop算法，这种算法适用于这样的条件，A语言中有一个词，它本身有两种意思，到B语言之后，有两种以上的翻译。

我们需要得到的，是B语言中的哪些翻译对应义项1，哪些对应义项2。

这个问题复杂的地方在于，对于普通的词义消歧，比如有两个义项的多义词，词都是同一个，上下文有很多，我们把这些上下文划分为两个等价类；而这种跨语言的，不仅要解决上下文的划分，在这之前还要解决两个义项多种词翻译的划分。

这里面最麻烦的就是要先找到两种义项分别对应的词翻译，和这两种义项分别对应的词翻译所对应的上下文特征，以及他们之间的对应关系。

想象一下，地上有两个圈，代表两个义项；这两个圈里，分别有若干个球，代表了每个义项对应的词翻译；然后这两个圈里还有若干个方块，代表了每个义项在该语言中对应的上下文。然后球和方块之间有线连着（球与球，方块与方块之间没有），随便连接，球可以连多个方块，方块也可以连多个球。然后，圈没了，两个圈里的球和方块都混在了一起，乱七八糟的，你该怎么把属于这两个圈的球和方块分开。

Flip-Flop算法给出的方法是，试试。把方块分成两个集合，球也分成两个集合，然后看看情况怎么样，如果情况不好就继续试，找到最好的划分。然后需要解决的问题就是，怎么判定分的好不好？用互信息。

如果两个上下文集（方块集）和两个词翻译集（球集）之间的互信息大，那我们就认为他们的之间相关关系大，也就与原来两个义项完美划分更接近。

实际上，基于互信息的这种方法直接把词翻译的义项划分也做好了。

基于贝叶斯分类器的消歧方法

基于贝叶斯分类器的消歧方法的思想与《浅谈机器学习基础》中讲的朴素贝叶斯分类算法相同，当时是用来判定垃圾邮件和正常邮件，这里则是用来判定不同义项（义项数可以大于2），我们只需要计算给定上下文语境下，概率最大的词义就好了。

根据贝叶斯公式，两种情况下，分母都可以忽略，所要计算的就是分子，找最大的分子，在垃圾邮件识别中，分子是P(当前邮件所出现的词语|垃圾邮件)P(垃圾邮件)，那么乘起来就是垃圾邮件和当前邮件词语出现的联合分布概率，正常邮件同理；而在这里分子是P(当前词语所存在的上下文|某一义项)P(某一义项)，这样计算出来的就是某一义项和上下文的联合分布概率，再除以分母P(当前词语所存在的上下文)，计算出来的结果就是P(某一义项|当前词语所存在的上下文)，就能根据上下文去求得概率最大的义项了。

基于最大熵的词义消歧方法

利用最大熵模型进行词义消歧的基本思想也是把词义消歧看做一个分类问题，即对于某个多义词根据其特定的上下文条件（用特征表示）确定该词的义项。

基于词典的词义消歧方法

基于词典语义定义的消歧方法

M. Lesk 认为词典中的词条本身的定义就可以作为判断其词义的一个很好的条件，就比如英文中的core，在词典中有两个定义，一个是‘松树的球果’，另一个是指‘用于盛放其它东西的锥形物，比如盛放冰激凌的锥形薄饼’。如果在文本中，出现了‘树’、或者出现了‘冰’，那么这个core的词义就可以确定了。

我们可以计算词典中不同义项的定义和词语在文本中上下文的相似度，就可以选择最相关的词义了。

基于义类词典的消歧方法

和前面基于词典语义的消歧方法相似，只是采用的不是词典里义项的定义文本，而是采用的整个义项所属的义类，比如ANMINAL、MACHINERY等，不同的上下文语义类有不同的共现词，依靠这个来对多义词的义项进行消歧。

无监督的词义消歧方法

严格地讲，利用完全无监督的消歧方法进行词义标注是不可能的，因为词义标注毕竟需要提供一些关于语义特征的描述信息，但是，词义辨识可以利用完全无监督的机器学习方法实现。

其关键思想在于上下文聚类，计算多义词所出现的语境向量的相似性就可以实现上下文聚类，从而实现词义区分。

语义角色标注概述

语义角色标注是一种浅层语义分析技术，它以句子为单位，不对句子所包含的予以信息进行深入分析，而只是分析句子的谓词-论元结构。具体一点讲，语义角色标注的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用语义角色来描述它们之间的关系。比如：

实际上就是填槽吧，找到句子中的时间、地点、施事者、受事者和核心谓词。

目前语义角色标注方法过于依赖句法分析的结果，而且领域适应性也太差。

自动语义角色标注是在句法分析的基础上进行的，而句法分析包括短语结构分析、浅层句法分析和依存关系分析，因此，语义角色标注方法也分为 基于短语结构树 的语义角色标注方法、 基于浅层句法分析结果 的语义角色标注方法和 基于依存句法分析结果 的语义角色标注方法三种。

它们的基本流程类似，在研究中一般都假定谓词是给定的，所要做的就是找出给定谓词的各个论元，也就是说任务是确定的，找出这个任务所需的各个槽位的值。其流程一般都由4个阶段组成：

候选论元剪除的目的就是要从大量的候选项中剪除掉那些不可能成为论元的项，从而减少候选项的数目。

论元辨识阶段的任务是从剪除后的候选项中识别出哪些是真正的论元。论元识别通常被作为一个二值分类问题来解决，即判断一个候选项是否是真正的论元。该阶段不需要对论元的语义角色进行标注。

论元标注阶段要为前一阶段识别出来的论元标注语义角色。论元标注通常被作为一个多值分类问题来解决，其类别集合就是所有的语义角色标签。

最终，后处理阶段的作用是对前面得到的语义角色标注结果进行处理，包括删除语义角色重复的论元等。

基于短语结构树的语义角色标注方法

首先是第一步，候选论元剪除，具体方法如下：

将谓词作为当前结点，依次考察它的兄弟结点：如果一个兄弟结点和当前结点在句法结构上不是并列的关系，则将它作为候选项。如果该兄弟结点的句法标签是介词短语，则将它的所有子节点都作为候选项。

将当前结点的父结点设为当前结点，重复上一个步骤，直至当前结点是句法树的根结点。

举个例子，候选论元就是图上画圈的：

经过剪除得到候选论元之后，进入论元识别阶段，为分类器选择有效的特征。人们总结出了一些常见的有效特征，比如谓词本身、路径、短语类型、位置、语态、中心词、从属类别、论元的第一个词和最后一个词、组合特征等等。

然后进行论元标注，这里也需要找一些对应的特征。然后后处理并不是必须的。

基于依存关系树的语义角色标注方法

该语义角色标注方法是基于依存分析树进行的。由于短语结构树与依存结构树不同，所以基于二者的语义角色标注方法也有不同。

在基于短语结构树的语义角色标方法中，论元被表示为连续的几个词和一个语义角色标签，比如上面图给的‘事故 原因’，这两个词一起作为论元A1；而在基于依存关系树的语义角色标注方法中，一个论元被表示为一个中心词和一个语义角色标签，就比如在依存关系树中，‘原因’是‘事故’的中心词，那只要标注出‘原因’是A1论元就可以了，也即谓词-论元关系可以表示为谓词和论元中心词之间的关系。

下面给一个例子：

句子上方的是原来的依存关系树，句子下方的则是谓词‘调查’和它的各个论元之间的关系。

第一步仍然是论元剪除，具体方法如下：

将谓词作为当前结点

将当前结点的所有子结点都作为候选项

将当前结点的父结点设为当前结点，如果新当前结点是依存句法树的根结点，剪除过程结束，如果不是，执行上一步

论元识别和论元标注仍然是基于特征的分类问题，也有一些人们总结出来的常见特征。这里不详述。

基于语块的语义角色标注方法

我们前面知道，浅层语法分析的结果是base NP标注序列，采用的方法之一是IOB表示法，I表示base NP词中，O表示词外，B表示词首。

基于语块的语义角色标注方法将语义角色标注作为一个序列标注问题来解决。

基于语块的语义角色标注方法一般没有论元剪除这个过程，因为O相当于已经剪除了大量非base NP，也即不可能为论元的内容。论元辨识通常也不需要了，base NP就可以认为是论元。

我们需要做的就是论元标注，为所有的base NP标注好语义角色。与基于短语结构树或依存关系树的语义角色标注方法相比，基于语块的语义角色标注是一个相对简单的过程。

当然，因为没有了树形结构，只是普通序列的话，与前两种结构相比，丢失掉了一部分信息，比如从属关系等。

语义角色标注的融合方法

由于语义角色标注对句法分析的结果有严重的依赖，句法分析产生的错误会直接影响语义角色标注的结果，而进行语义角色标注系统融合是减轻句法分析错误对语义角色标注影响的有效方法。

这里所说的系统融合是将多个语义角色标注系统的结果进行融合，利用不同语义角色标注结果之间的差异性和互补性，综合获得一个最好的结果。

在这种方法中，一般首先根据多个不同语义角色标注结果进行语义角色标注，得到多个语义角色标注结果，然后通过融合技术将每个语义角色标注结果中正确的部分组合起来，获得一个全部正确的语义角色标注结果。

融合方法这里简单说一种基于整数线性规划模型的语义角色标注融合方法，该方法需要被融合的系统输出每个论元的概率，其基本思想是将融合过程作为一个推断问题处理，建立一个带约束的最优化模型，优化目标一般就是让最终语义角色标注结果中所有论元的概率之和最大了，而模型的约束条件则一般来源于人们根据语言学规律和知识所总结出来的经验。

除了基于整数线性规划模型的融合方法之外，人们还研究了若干种其他融合方法，比如最小错误加权的系统融合方法。其基本思想是认为，不应该对所有融合的标注结果都一视同仁，我们在进行融合时应当更多的信赖总体结果较好的系统。

END

⑸ NLP之文本分类

作为NLP领域最经典的使用场景之一，文本分类积累了许多的实现方法。这里我们根据是否使用深度学习方法将文本分类主要分为一下两个大类：

随着统计学习方法的发展，特别是在90年代后互联网在线文本数量增长和机器学习学科的兴起，逐渐形成了一套解决大规模文本分类问题的经典玩法，这个阶段的主要套路是人工特征工程+浅层分类模型。整个文本分类问题就拆分成了 特征工程 和 分类器 两部分。

这里的特征工程也就是将文本表示为计算机可以识别的、能够代表该文档特征的特征矩阵的过程。在基于传统机器学习的文本分类中，我们通常将特征工程分为 文本预处理、特征提取、文本表示 等三个部分。

文本预处理过程是提取文本中的关键词来表示文本的过程 。中文文本预处理主要包括 文本分词 和 去停用词 两个阶段。
文本分词 ，是因为很多研究表明特征粒度为词粒度远好于字粒度（其实很好理解，因为大部分分类算法不考虑词序信息，基于字粒度显然损失了过多“n-gram”信息）。具体到中文分词，不同于英文有天然的空格间隔，需要设计复杂的分词算法。传统分词算法主要有 基于字符串匹配的正向/逆向/双向最大匹配 ； 基于理解的句法和语义分析消歧 ； 基于统计的互信息/CRF方法 。近年来随着深度学习的应用， WordEmbedding + Bi-LSTM+CRF方法 逐渐成为主流，本文重点在文本分类，就不展开了。
而 停止词 是 文本中一些高频的代词、连词、介词等对文本分类无意义的词 ，通常维护一个停用词表，特征提取过程中删除停用表中出现的词，本质上属于特征选择的一部分。

特征提取包括 特征选择 和 特征权重计算 两部分。
特征选择的基本思路 是 根据某个评价指标独立的对原始特征项（词项）进行评分排序，从中选择得分最高的一些特征项，过滤掉其余的特征项 。常用的评价有：文档频率、互信息、信息增益、χ²统计量等。
特征权重计算 主要是经典的TF-IDF方法及其扩展方法。 TF-IDF的主要思想 是 一个词的重要度与在类别内的词频成正比，与所有类别出现的次数成反比 。

文本表示的目的是把文本预处理后的转换成计算机可理解的方式，是决定文本分类质量最重要的部分。传统做法常用 词袋模型 （BOW, Bag Of Words）或 向量空间模型 （Vector Space Model），最大的 不足 是忽略文本上下文关系，每个词之间彼此独立，并且无法表征语义信息。

大部分机器学习方法都在文本分类领域有所应用，比如朴素贝叶斯分类算法（Naïve Bayes）、KNN、SVM、最大熵和神经网络等等。

FastText 是Facebook AI Research在16年开源的一种文本分类器。 其 特点 就是 fast 。相对于其它文本分类模型，如 SVM ， Logistic Regression 等模型，fastText能够在保持分类效果的同时，大大缩短了训练时间。

FastText方法包含三部分， 模型架构 ， 层次SoftMax 和 N-gram特征 。

FastText模型架构和 Word2Vec 中的 CBOW 模型很类似，因为它们的作者都是Facebook的科学家Tomas Mikolov。不同之处在于，FastText 预测标签 ，而CBOW 模型 预测中间词 。

TextCNN 是利用卷积神经网络对文本进行分类的算法，它是由 Yoon Kim 在2014年在 “ Convolutional Neural Networks for Sentence Classification ” 一文中提出的。详细的原理图如下。

特征 ：这里的特征就是词向量，有 静态（static） 和 非静态（non-static） 方式。static方式采用比如word2vec预训练的词向量，训练过程不更新词向量，实质上属于迁移学习了，特别是数据量比较小的情况下，采用静态的词向量往往效果不错。non-static则是在训练过程中更新词向量。推荐的方式是 non-static 中的 fine-tunning方式，它是以预训练（pre-train）的word2vec向量初始化词向量，训练过程中调整词向量，能加速收敛，当然如果有充足的训练数据和资源，直接随机初始化词向量效果也是可以的。

通道（Channels） ：图像中可以利用 (R, G, B) 作为不同channel，而文本的输入的channel通常是不同方式的embedding方式（比如 word2vec或Glove），实践中也有利用静态词向量和fine-tunning词向量作为不同channel的做法。

一维卷积（conv-1d） ：图像是二维数据，经过词向量表达的文本为一维数据，因此在TextCNN卷积用的是一维卷积。一维卷积带来的问题是需要设计通过不同 filter_size 的 filter 获取不同宽度的视野。

Pooling层： 利用CNN解决文本分类问题的文章还是很多的，比如这篇 A Convolutional Neural Network for Modelling Sentences 最有意思的输入是在 pooling 改成 (dynamic) k-max pooling，pooling阶段保留 k 个最大的信息，保留了全局的序列信息。

参考文献

⑹ nlp算法是什么

nlp算法是自然语言处理。

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

相关信息：

自然语言处理是指利用人类交流所使用的自然语言与机器进行交互通讯的技术。通过人为的对自然语言的处理，使得计算机对其能够可读并理解。自然语言处理的相关研究始于人类对机器翻译的探索。

虽然自然语言处理涉及语音、语法、语义、语用等多维度的操作，但简单而言，自然语言处理的基本任务是基于本体词典、词频统计、上下文语义分析等方式对待处理语料进行分词，形成以最小词性为单位，且富含语义的词项单元。

⑺ 用Py做文本分析5：关键词提取

关键词指的是原始文档的和核心信息，关键词提取在文本聚类、分类、自动摘要等领域中有着重要的作用。

针对一篇语段，在不加人工干预的情况下提取出其关键词

无监督学习——基于词频
思路1：按照词频高低进行提取

思路2：按照词条在文档中的重要性进行提取

IF-IDF是信息检索中最常用的一种文本关键信息表示法，其基本的思想是如果某个词在一篇文档中出现的频率高，并且在语料库中其他文档中很少出现，则认为这个词具有很好的类别区分能力。

TF：Term Frequency，衡量一个term在文档中出现得有多频繁。平均而言出现越频繁的词，其重要性可能就越高。考虑到文章长度的差异，需要对词频做标准化：

IDF：Inverse Document Frequency，逆文档概率，用于模拟在该语料的实际使用环境中，目标term的重要性。

TF-IDF：TF*IDF

优点：

(1)jieba

(2)sklearn

(3)gensim

前面介绍的TF-IDF属于无监督中基于词频的算法，TextRank算法是基于图形的算法。

TextRank算法的思想来源于PageRank算法：

和基于词频的算法相比，TextRank进一步考虑了文档内词条间的语义关系。

参考资料：
Python数据分析--玩转文本挖掘

⑻ 文本分析包括什么内容有没有用过的说一下

文本分析其实是一个比较广义的术语，涵盖收集、提取、分析等等各种过程，所以它的用途蛮多的。就拿我所在的公司来说，在科研立项这个场景中，由于之前积累完成的项目多达上千个，每次要做新的科研项目的时候，就得跟之前所有的项目比对查重，防止重复立项，浪费经费。这个工作之前全是靠人力，基本上要一个人花两天时间，后来我司就跟竹间智能合作，用文本分析技术帮忙建立了一套系统，可以针对文档进行智能问答、知识推理、文本审 核、文本比对、文本查重等，能做很多事儿，而以后要启动新项目，只需要上传相关文档，等个十来秒看查重结果就行。

⑼ 如何度量两个词之间的语义相似度

如何度量句子的语义相似度，很容易想到的是向量空间模型（VSM）和编辑距离的方法，比如A：“我爸是李刚”，B：“我儿子是李刚”，利用VSM方法A（我，爸，是，李刚）B（我，儿子，是，李刚），计算两个向量的夹角余弦值，不赘述；编辑距离就更好说了将“爸”，“儿子”分别替换掉，D（A,B）= replace_cost；

这是两种相当呆的方法，属于baseline中的baseline，换两个例子看一下就知道A：“楼房如何建造？”，B：“高尔夫球怎么打？”，C:“房子怎么盖？”，如果用VSM算很明显由于B，C中有共同的词“怎么”，所以BC相似度高于AC；编辑距离同理；

解决这种问题方法也不难，只要通过同义词词典对所有句子进行扩展，“如何”、“怎么”，“楼房”、“房子”都是同义词或者近义词，扩展后再算vsm或者edit distance对这一问题即可正解。这种方法一定程度上解决了召回率低的问题，但是扩展后引入噪声在所难免，尤其若原句中含有多义词时。例如：“打酱油”、“打毛衣”。在汉字中有些单字词表达了相当多的意义，在董振东先生的知网（hownet）中对这种类型汉字有很好的语义关系解释，通过hownet中词语到义元的树状结构可以对对词语粒度的形似度进行度量。

问题到这里似乎得到了不错的解答，但实际中远远不够。VSM的方法把句子中的词语看做相互独立的特征，忽略了句子序列关系、位置关系对句子语义的影响；Edit Distance考虑了句子中词语顺序关系，但是这种关系是机械的置换、移动、删除、添加，实际中每个词语表达了不同的信息量，同样的词语在不同词语组合中包含的信息量或者说表达的语义信息大不相同。What about 句法分析，计算句法树的相似度？这个比前两种方法更靠谱些，因为句法树很好的描述了词语在句子中的地位。实际效果要待实验证实。

对了，还有一种方法translation model，IBM在机器翻译领域的一大创举，需要有大量的语料库进行训练才能得到理想的翻译结果。当然包括中间词语对齐结果，如果能够利用web资源建立一个高质量的语料库对两两相似句对通过EM迭代词语对齐，由词语对齐生成句子相似度，这个。。想想还是不错的方法！

⑽ 语义分析与文本分析有什么区别，急急急！！！！！

1,语义分析是编译过程的一个逻辑阶段，
语义分析的任务是对结构上正确的源程序进行上下文有关性质的审查，进行类型审查。语义分析是审查源程序有无语义错误，为代码生成阶段收集类型信息。比如语义分析的一个工作是进行类型审查，审查每个算符是否具有语言规范允许的运算对象，当不符合语言规范时，编译程序应报告错误。如有的编译程序要对实数用作数组下标的情况报告错误。又比如某些某些程序规定运算对象可被强制，那么当二目运算施于一整型和一实型对象时，编译程序应将整型转换为实型而不能认为是源程序的错误。
2,文本分析是指对文本的表示及其特征项的选取；文本分析是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息，即对文本进行科学的抽象，建立它的数学模型，用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。由于文本是非结构化的数据,要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。目前人们通常采用向量空间模型来描述文本向量,但是如果直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维,那么这个向量的维度将是非常的大。这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销,使整个处理过程的效率非常低下,而俯范碘既鄢焕碉唯冬沥且会损害分类、聚类算法的精确性,从而使所得到的结果很难令人满意。因此,必须对文本向量做进一步净化处理,在保证原文含义的基础上,找出对文本特征类别最具代表性的文本特征。为了解决这个问题,最有效的办法就是通过特征选择来降维。