㈠ 求一個腳本，如何利用python(python 2.7)分割超大的文本文件可以指定按大小或按行數
defsplitfile(filename,sizelimit,forline=True):
size=0
i=1
out=open("%s.%04d"%(filename,i),'w')
forlineinopen(filename):
size=size+1ifforlineelsesize+len(line)
if(size>sizelimit):
size=1ifforlineelselen(line)
out.close()
i+=1
out=open("%s.%04d"%(filename,i),'w')
out.write(line)
out.close()
if__name__=='__main__':
filename=raw_input("請輸入要分隔的文件名:")
forline=raw_input("輸入數字0按行分隔，輸入其它按大小分隔(請輸入:)")
forline=(int(forline)==0)
sizelimit=int(raw_input("請輸入分割文件的大小:"))
splitfile(filename,sizelimit,forline)
函數splitfile的前二個參數為文件名，分割大小,，第三個參數為True時按行分割，為False時按大小分割
㈡ python具體在文本處理上怎麼用
在諸多軟體壓縮包中或是項目壓縮包中都會存在一個readme.txt文件，其中的內容無非是對軟體的簡單介紹和注意事項。但是在該文本文件中，內容沒有分段分行，是非常冗雜地混在一起。當然處理手段多種多樣，而我正好嘗試利用Python解決這個問題。另外，這些內容或許對將來爬蟲爬下的內容進行處理也是有些幫助的，只不過面對的混亂和處理需求不同而已。
這里的思路很簡單，打開一個文本文檔，對其中具有兩個及兩個以上的空格進行處理，即產生換行，另外出現很多的『=』和『>>>』也進行處理。這里我嘗試處理的是easyGUI文件夾中的read.txt,該文件我復制在了D盤的根目錄下。具體的實現代碼如下：
def save_file(lister):#將傳入的列表保存在新建文件中 new_file = open('new_file','w')#創建並打開文件，文件可寫 new_file.writelines(lister)#將列表lister中的內容逐行列印 new_file.close()#關閉文件，且緩存區中的內容保存至該文件中def split_file(filename):#分割原始文件 f = open(filename)#打開該原始文件，默認該文件不可修改 lister = []#初始化一個空列表 for each_line in f: if each_line[:6] != '======' and each_line[:3] != '>>>': #當連續出現六個『=』或連續三個『>』時，列印一個換行符，實際體現在else中 each_line.split(' ',1)#當出現兩個空格時，分割一次，並在下一行代碼中以一行的形式保存在列表中 lister.append(each_line) else:
lister.append('\n')
save_file(lister)
f.close()
split_file('D:\\README.txt')
代碼給出了詳細的注釋。其中得到的新的名為「new_file」的文件保存在默認的Python項目的目錄下。當然，可以通過chdir()更改工作目錄，使得文件創建在自己指定的位置。
㈢ Python3讀取大文件的方法
1.方法一：利用yield生成器
2. 方法二：利用open()自帶方法生成迭代對象，這個是一行一行的讀取
總結：二者的比較
方法一：可以靈活控制一次讀取的size，在速度上較2有優勢，適用於一些大的二進制文件，比如讀取一些大的視頻或者圖片等。
方法二：在處理一些文本的時候感覺更加便利，按行讀更容易對文本進行處理。
㈣ python數據挖掘——文本分析
作者 | zhouyue65
來源 | 君泉計量
文本挖掘：從大量文本數據中抽取出有價值的知識，並且利用這些知識重新組織信息的過程。
一、語料庫（Corpus）
語料庫是我們要分析的所有文檔的集合。
二、中文分詞
2.1 概念：
中文分詞（Chinese Word Segmentation）：將一個漢字序列切分成一個一個單獨的詞。
eg：我的家鄉是廣東省湛江市-->我/的/家鄉/是/廣東省/湛江市
停用詞（Stop Words）：
數據處理時，需要過濾掉某些字或詞
√泛濫的詞，如web、網站等。
√語氣助詞、副詞、介詞、連接詞等，如 的，地，得；
2.2 安裝Jieba分詞包：
最簡單的方法是用CMD直接安裝：輸入pip install jieba，但是我的電腦上好像不行。
後來在這里：https://pypi.org/project/jieba/#files下載了jieba0.39解壓縮後 放在Python36Libsite-packages裡面，然後在用cmd，pip install jieba 就下載成功了，不知道是是什麼原因。
然後我再anaconda 環境下也安裝了jieba，先在Anaconda3Lib這個目錄下將jieba0.39的解壓縮文件放在裡面，然後在Anaconda propt下輸入 pip install jieba，如下圖：
2.3 代碼實戰：
jieba最主要的方法是cut方法：
jieba.cut方法接受兩個輸入參數:
1) 第一個參數為需要分詞的字元串
2）cut_all參數用來控制是否採用全模式
jieba.cut_for_search方法接受一個參數：需要分詞的字元串,該方法適合用於搜索引擎構建倒排索引的分詞，粒度比較細
注意：待分詞的字元串可以是gbk字元串、utf-8字元串或者unicode
jieba.cut以及jieba.cut_for_search返回的結構都是一個可迭代的generator，可以使用for循環來獲得分詞後得到的每一個詞語(unicode)，也可以用list(jieba.cut(...))轉化為list代碼示例( 分詞 )
輸出結果為： 我 愛
Python
工信處
女幹事
每月 經過 下屬 科室 都 要 親口
交代
24 口 交換機 等 技術性 器件 的 安裝
工作
分詞功能用於專業的場景：
會出現真武七截陣和天罡北斗陣被分成幾個詞。為了改善這個現象，我們用導入詞庫的方法。
但是，如果需要導入的單詞很多，jieba.add_word()這樣的添加詞庫的方法就不高效了。
我們可以用jieba.load_userdict(『D:PDM2.2金庸武功招式.txt』)方法一次性導入整個詞庫，txt文件中為每行一個特定的詞。
2.3.1 對大量文章進行分詞
先搭建語料庫：
分詞後我們需要對信息處理，就是這個分詞來源於哪個文章。
四、詞頻統計
3.1詞頻（Term Frequency）：
某個詞在該文檔中出現的次數。
3.2利用Python進行詞頻統計
3.2.1 移除停用詞的另一種方法，加if判斷
代碼中用到的一些常用方法：
分組統計：
判斷一個數據框中的某一列的值是否包含一個數組中的任意一個值：
取反：（對布爾值）
四、詞雲繪制
詞雲（Word Cloud）：是對文本中詞頻較高的分詞，給與視覺上的突出，形成「關鍵詞渲染」，從而國旅掉大量的文本信息，使瀏覽者一眼掃過就可以領略文本的主旨。
4.1 安裝詞雲工具包
這個地址：https://www.lfd.uci.e/~gohlke/pythonlibs/ ，可以搜到基本上所有的Python庫，進去根據自己的系統和Python的版本進行下載即可。
在python下安裝很方便，在anaconda下安裝費了點勁，最終將詞雲的文件放在C:UsersAdministrator 這個目錄下才安裝成功。
五、美化詞雲（詞雲放入某圖片形象中）
六、關鍵詞提取
結果如下:
七、關鍵詞提取實現
詞頻（Term Frequency）：指的是某一個給定的詞在該文檔中出現的次數。
計算公式： TF = 該次在文檔中出現的次數
逆文檔頻率（Inverse Document Frequency）：IDF就是每個詞的權重，它的大小與一個詞的常見程度成反比
計算公式：IDF = log（文檔總數/（包含該詞的文檔數 - 1））
TF-IDF（Term Frequency-Inverse Document Frequency）：權衡某個分詞是否關鍵詞的指標，該值越大，是關鍵詞的可能性就越大。
計算公式：TF - IDF = TF * IDF
7.1文檔向量化
7.2代碼實戰