词相似度计算python

❶ NLP之gensim库python实现文本相似度/匹配/查重

给定一个或多个搜索词，如“高血压 患者”，从已有的若干篇文本中找出最相关的(n篇)文本。

文本检索（text retrieve）的常用策略是：用一个ranking function根据搜索词对所有文本进行排序，选取前n个，就像网络搜索一样。

结巴分词后的停用词性 [标点符号、连词、助词、副词、介词、时语素、‘的’缓祥、数词、方位词、代词胡哪宽]

对一篇文章分词、去停用词

对目录下的所有文本进行预处理裤亮，构建字典

❷ python有没有什么包能判断文本相似度

有，gensim包。

主要分成三步：
第一步，计算所有评论的tf-idf 值。

第二步，使用所有评论的tf-idf 值算出商品描述的tf-idf 值。
第三步，计算每一个评论和商品描述之间的tf-idf 余弦相似度。

可以 在这里找到具体用法：
http://blog.csdn.net/chencheng126/article/details/50070021

❸ 词义相似度计算

语义计算索引作业一 词义相似度计算

实现2种词汇相关度计算方法，基于词典与基于语运游差料各一种
基于Mturk-771进行实验和分析(开放式) ： http://www2.mta.ac.il/~gideon/mturk771.html

这里我们使用WordNet词典，使用的工具是nltk，利用里面自带的相似度方法来计算词义相似度。Nltk是比较知名的Python自然语言处理包，从里面可以导入wordnet词典和一些语料，来帮助我们进行词义等的分析。其中有六种相似度计算的算法：
brown_ic = wordnet_ic.ic('ic-brown.dat')
path_similarity(c1,c2) # 词在词典层次结构中的最短路径
wup_similarity(c1,c2) # Wu-Palmer 提出的最短路径
lch_similarity(c1,c2) # Leacock Chodorow 最短路径加上类别信息
res_similarity(c1,c2, brown_ic) # -log P(LCS(c1,c2)) 公共包容节点在层次结构中位置越低，相似性越大
jcn_similarity(c1,c2, brown_ic) # 1/2 * log P(LCS(c1,c2)) - (logP(c1) + logP(c2))
lin_similarity(c1,c2, semcor_ic) # 2 * log P(LCS(c1,c2)) / (logP(c1) + logP(c2))

特殊处理：
1、 其中lin_similarity、wup_similarity和path_similarity结果范围在[0,1]之间，而由我们的数据可知，数据结果应该在[0,5]之间，因此这里我们把结果×5进行处理。
2、 一个词会有多种词义，判断两个词需要让两个词之间的各个词义进行比较。如何判断两个词之间的相似度呢？我同时使用了最大值和平均值，发现平均值得到的结果会非常小，猜想两个词之间可能有较多的词义无关，影响了结果，因此最后选择用最大值。
3、 lch_similarity得到的值都不大，因此最后进行了归一化处理×5
4、 res_similarity(c1,c2, brown_ic) jcn_similarity(c1,c2, brown_ic)得到的结果存在le+300，而第二大的数分别为12.26837533572617和19.273454235478546，因此取13和20代替原来的最大le+300。

剩余分数则是归一化后再×5
五分分值：

因为预训练词向量都比较大，这里就使用了gensim中的word2vec模型进行自行训练，训练语料为text8，大概有100M左右。

最后得到的结果如下图：score为真实评分分布，w2v为word2vec实际评分分布。

结果分析使用了均方误差

由图可以看出，word2vec方法和 res算法结果较好，观察预测结果分布，可以看出这两种方法和真实结磨消果分布比较相似。
在观察时，我们也发现，path等方法相似度偏向与1（或者是5）左右，原因是我们这里取的是最大值，对于account,explanation这两个单词，因为它们旁皮有相同的词义，这里就认为相似度最大。但实际在现实生活中，考虑两个词词义是否相似，除却词义的重合程度外，可能还要考虑两个词是否是常用词义相似等等。比如两个词常用含义相似和两个词罕见含义相似，虽然都是某种词义相似，但显然前者更能体现词的相似度。
因此可能取平均和取最大都不能很好的描述两个词之间的相似度。而语料的方法则可以得到词的常用和罕见意义这一信息。这里用word2vec训练语料有限，可能结果也不是非常准确，相信如果网上很多预训练的词向量可能会有更好的结果。

❹ python 列表相似度怎么计算

找它们的共同元素?

❺ python中是否有用于计算两个字符串相似度的函数

linux环境下，没有首先安装python_Levenshtein，用法如下：

重点介绍几个该包中的几个计算字串相似度的几个函数实现。

1. Levenshtein.hamming(str1, str2)

计算汉明距离。要求str1和str2必须长度一致。是描述两个等长字串之间对应位置上不同字符的个数。如

2. Levenshtein.distance(str1, str2)

计算编辑距离（也成Levenshtein距离）。是描述由一个字串转化成另一个字串最少的操作次数，在其中的操作包括插入、删除、替换。如

算法实现 参考动态规划整理：http://www.cnblogs.com/kaituorensheng/archive/2013/05/15/3080990.html。

3. Levenshtein.ratio(str1, str2)

计算莱文斯坦比。计算公式 r = (sum - ldist) / sum, 其中sum是指str1 和 str2 字串的长度总和，ldist是类编辑距离

注意：这里的类编辑距离不是2中所说的编辑距离，2中三种操作中每个操作+1，而在此处，删除、插入依然+1，但是替换+2

这样设计的目的：ratio('a', 'c')，sum=2,按2中计算为（2-1）/2 = 0.5,’a','c'没有重合，显然不合算，但是替换操作+2，就可以解决这个问题。

4. Levenshtein.jaro(s1, s2)

计算jaro距离，

其中的m为s1, s2的匹配长度，当某位置的认为匹配 当该位置字符相同，或者在不超过

t是调换次数的一半

5. Levenshtein.jaro_winkler(s1, s2)

计算Jaro–Winkler距离

❻ python中怎么实现相似度的计算，比如：中国石油销售有限公司--中国石油金属有限公司，计算他们的相似度

#/usr/bin/envpython3
s1='中国石油销售有限公司'.strip()
s2='中国石油金属有限公司'.strip()
similar=sum([i==jfori,jinzip(s1,s2)])/len(s1)
print('相似度{:.2f}%'.format(similar*100))

[willie@bogon pys]$ python3 similar.py

相似度80.00%

❼ 怎样用python或者是java计算文本相似度

第一步：把每个网页文本分词，成为词包（bag of words）。
第三步：统计网页（文档）总数M。
第三步：统计第一个网页词数N，计算第一个网页第一个词在该网页中出现的次数n，再找出该词在所有文档中出现的次数m。则该词的tf-idf 为：n/N * 1/(m/M) （还有其它的归一化公式，这里是最基本最直观的公式）
第四步：重复第三步，计算出一个网页所有词的tf-idf 值。
第五步：重复第四步，计算出所有网页每个词的tf-idf 值。
3、处理用户查询
第一步：对用户查询进行分词。
第二步：根据网页库（文档）的数据，计算用户查询中每个词的tf-idf 值。
4、相似度的计算
使用余弦相似度来计算用户查询和每个网页之间的夹角。夹角越小，越相似。

❽ 使用word2vec计算词向量之间的相似度

string为你需要键亮乎获取向量的词，
double[] array = vec.getWordVector(string);
array是这个词的向量。
首先在创建vec的时候要保证.minWordFrequency(1)，否则有些词你是得不到向量的，这个方法键液是设置词的最小使用频稿悉率。

❾ 图像相似度计算【python】

其中，G和S为两张图片的图像颜色分布直方图，N为颜色空间样点数。这里使用分块的方法计算相橘含似度，用以提高各部分的特征，防止图片颜色相似导致计算的相似度高。

—————————————————————————————————————————————圆氏笑————————————————————

—————————————————————————————————————————————————————————————————

————————————————————————————————————核唤—————————————————————————————

转自另一位大佬，忘记地址了

❿ 如何用Python玩转TF-IDF之寻找相似文章并生成摘要

应用1：关键词自动生成

核心思想是对于某个文档中的某个词，计算其在这个文档中的标准化TF值，然后计算这个词在整个语料库中的标准化IDF值。在这里，标准化是说对原始的计算公式进行了一些变换以取得更好的衡量效果，并避免某些极端情况的出现。这个词的TF-IDF值便等于TF*IDF。对于这个文档中的所有词计算它们的TF-IDF值，并按照由高到低的顺序进行排序，由此我们便可以提取我们想要的数量的关键词。

TF-IDF的优点是快捷迅速，结果相对来说比较符合实际情况。缺点是当一篇文档中的两个词的IDF值相同的时候，出现次数少的那个词有可能更为重要。再者，TF-IDF算法无法体现我词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。存在的解决办法是对文章的第一段和每段的第一句话给予比较大的权重。

应用2：计算文本相似度

明白了对于每个词，如何计算它的TF-IDF值。那么计算文本相似度也轻而易举。我们已经计算了文章中每个词的TF-IDF值，那么我们便可以将文章表征为词的TF-IDF数值向量。要计算两个文本的相似度，只需要计算余弦即可，余弦值越大，两个文本便越相似。

应用3：自动摘要

2007年，美国学者的论文<A Survey on Automatic Text Summarization>总结了目前的自动摘要算法，其中很重要的一种就是词频统计。这种方法最早出自1958年IBM公司一位科学家的论文<The Automatic Creation of Literature Abstracts>。这位科学家认为，文章的信息都包含在句子中，有的句子包含的信息多，有的句子包含的信息少。自动摘要就是找出那些包含信息最多的句子。那么句子的信息量怎么衡量呢？论文中采用了关键词来衡量。如果包含的关键词越多，就说明这个句子越重要，这位科学家提出用Cluster的来表示关键词的聚集。所谓簇，就是包含多个关键词的句子片段。

以第一个图为例，其中的cluster一共有7个词，其中4个是关键词。因此它的重要性分值就等于(4*4)/7=2.3。然后，找出包含cluster重要性分值最高的句子（比如5句），把它们合在一起，就构成了这篇文章的自动摘要。具体实现可以参见<Mining the Social Web: Analyzing Data from Facebook, Twitter, LinkedIn, and Other Social Media Sites>（O'Reilly, 2011）一书的第8章，Python代码见github。这种算法后来被简化，不再区分cluster，只考虑句子包含的关键词。伪代码如下。

Summarizer(originalText,maxSummarySize):
//计算文本的词频，生成一个列表，比如[(10,'the'),(3,'language'),(8,'code')...]
wordFrequences=getWordCounts(originalText)
//过滤掉停用词，列表变成[(3,'language'),(8,'code')...]
contentWordFrequences=filtStopWords(wordFrequences)
//按照词频的大小进行排序，形成的列表为['code','language'...]
contentWordsSortbyFreq=sortByFreqThenDropFreq(contentWordFrequences)
//将文章分成句子
sentences=getSentences(originalText)
//选择关键词首先出现的句子
setSummarySentences={}
:
firstMatchingSentence=search(sentences,word)
setSummarySentences.add(firstMatchingSentence)
ifsetSummarySentences.size()=maxSummarySize:
break
//将选中的句子按照出现顺序，组成摘要
summary=""
foreachsentenceinsentences:
:
summary=summary+""+sentence
returnsummary

类似的算法已经被写成了工具，比如基于Java的Classifier4J库的SimpleSummariser模块、基于C语言的OTS库、以及基于classifier4J的C#实现和python实现。