A. 如何用python玩轉TF-IDF之尋找相似文章並生成摘要
應用1：關鍵詞自動生成
核心思想是對於某個文檔中的某個詞，計算其在這個文檔中的標准化TF值，然後計算這個詞在整個語料庫中的標准化IDF值。在這里，標准化是說對原始的計算公式進行了一些變換以取得更好的衡量效果，並避免某些極端情況的出現。這個詞的TF-IDF值便等於TF*IDF。對於這個文檔中的所有詞計算它們的TF-IDF值，並按照由高到低的順序進行排序，由此我們便可以提取我們想要的數量的關鍵詞。
TF-IDF的優點是快捷迅速，結果相對來說比較符合實際情況。缺點是當一篇文檔中的兩個詞的IDF值相同的時候，出現次數少的那個詞有可能更為重要。再者，TF-IDF演算法無法體現我詞的位置信息，出現位置靠前的詞與出現位置靠後的詞，都被視為重要性相同，這是不正確的。存在的解決辦法是對文章的第一段和每段的第一句話給予比較大的權重。
應用2：計算文本相似度
明白了對於每個詞，如何計算它的TF-IDF值。那麼計算文本相似度也輕而易舉。我們已經計算了文章中每個詞的TF-IDF值，那麼我們便可以將文章表徵為詞的TF-IDF數值向量。要計算兩個文本的相似度，只需要計算餘弦即可，餘弦值越大，兩個文本便越相似。
應用3：自動摘要
2007年，美國學者的論文<A Survey on Automatic Text Summarization>總結了目前的自動摘要演算法，其中很重要的一種就是詞頻統計。這種方法最早出自1958年IBM公司一位科學家的論文<The Automatic Creation of Literature Abstracts>。這位科學家認為，文章的信息都包含在句子中，有的句子包含的信息多，有的句子包含的信息少。自動摘要就是找出那些包含信息最多的句子。那麼句子的信息量怎麼衡量呢？論文中採用了關鍵詞來衡量。如果包含的關鍵詞越多，就說明這個句子越重要，這位科學家提出用Cluster的來表示關鍵詞的聚集。所謂簇，就是包含多個關鍵詞的句子片段。
以第一個圖為例，其中的cluster一共有7個詞，其中4個是關鍵詞。因此它的重要性分值就等於(4*4)/7=2.3。然後，找出包含cluster重要性分值最高的句子（比如5句），把它們合在一起，就構成了這篇文章的自動摘要。具體實現可以參見<Mining the Social Web: Analyzing Data from Facebook, Twitter, LinkedIn, and Other Social Media Sites>（O'Reilly, 2011）一書的第8章，Python代碼見github。這種演算法後來被簡化，不再區分cluster，只考慮句子包含的關鍵詞。偽代碼如下。
Summarizer(originalText,maxSummarySize):
//計算文本的詞頻，生成一個列表，比如[(10,'the'),(3,'language'),(8,'code')...]
wordFrequences=getWordCounts(originalText)
//過濾掉停用詞，列表變成[(3,'language'),(8,'code')...]
contentWordFrequences=filtStopWords(wordFrequences)
//按照詞頻的大小進行排序，形成的列表為['code','language'...]
contentWordsSortbyFreq=sortByFreqThenDropFreq(contentWordFrequences)
//將文章分成句子
sentences=getSentences(originalText)
//選擇關鍵詞首先出現的句子
setSummarySentences={}
:
firstMatchingSentence=search(sentences,word)
setSummarySentences.add(firstMatchingSentence)
ifsetSummarySentences.size()=maxSummarySize:
break
//將選中的句子按照出現順序，組成摘要
summary=""
foreachsentenceinsentences:
:
summary=summary+""+sentence
returnsummary
類似的演算法已經被寫成了工具，比如基於Java的Classifier4J庫的SimpleSummariser模塊、基於C語言的OTS庫、以及基於classifier4J的C#實現和python實現。
B. 文本相似度演算法-Jaro distance
給定兩個灶指衡文本串 , ,他們的Joro距離定義為：
求 match 的字元數：
分別來自 , 的字元，當他們相同或者距離小於 ,則被認為是 match 的。
比如： =「DIXON」, =「DICKSONX」
中的逗滑每一個字元都會與 中距離 內的字元進行比較。將所有 match 的字元隱做串，需要替調換順序才能匹配的總數除以二就是transpositions的大小 。這里兩個字元串中匹配的分別是："DION"，「DION",所以 。
另外 =4, =8,
則：
參考：
https://rosettacode.org/wiki/Jaro_distance#Java
C. JAVA實現如何比較兩個文檔之間的異同點
樓上回答驢唇不對馬嘴。
這個文件比較功能，我做過比較txt簡單文本文件的。office文件沒比過，說下想法，希望能對你有幫助
打開要讀取的兩份文件，依次讀取A所有行數，將每一行的數據以字元串的形式存儲在一個字元串數組里，假如是 StringA[] ，同時也一樣處理 B文件
分別從開始遍歷兩個 字元串數組，比較 相似（相同） 字元百分比。當然有時候可能A文件第10行是一個空行，但是其下面的所有數據都和B文件一樣，所以這個遍歷對比不是門當戶對的 行行相比，而是 一次遍歷多對多的比較（但是仍要考慮順序，比如A第10行和B第15行相同，但是A第12行又和B第10行相同，那麼這一個范圍段都是不匹配片斷），找出相似度最高的。
希望能對你有幫助吧