python按行讀取大文件

⑴ python對文件的讀操作方法有哪些

摘要 1 文件讀取全文本操作

⑵ python讀取大文件處理時使用多線程

如果有個很大的文件，幾十G?，需要每次讀取一部分，處理後再讀取剩餘部分。
with open as f 已經從內部處理難點，使用 for line in f 以迭代器的形式每次讀取一行，不會有內存問題。

下面程序的思路是用一個列表存放讀取到的數據，達到長度後就開始處理，處理完就清空列表，繼續執行

⑶ python讀寫文件

讀文件

    1）使用open()方法打開文件，返回一個文件對象

        原型：open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)

        舉例：f = open('test.txt', 'r')

        test.txt表示文件路徑(包含文件名，這個file參數可以是絕對或者相對路徑)

        r表示是讀文本文件，rb是讀二進制文本文件。（這個mode參數默認值就是r）

    2）使用close()方法關閉文件

        f.close()

        打開後的文件必須關閉，因為文件對象會佔用系統資源，系統打開文件數量也就有限了

    3）打開文件時的異常處理

        f=open('test.txt', 'r')

        f.read()

        f.close()

        FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'

        文件讀寫時都有可能產生異常IOError(比如文件不存在)，這樣其後面的f.read()，f.close()就不會調用。為保證無論是否異常都可以關閉文件，一般使用try ... finally來處理：

        try:

            f = open('test.txt', 'r')

            f.read()

        finally:

            if f:

                f.close()

        但這種寫法過於繁瑣，所以Python引入了with語句來自動調用close()方法：

        with open('test.txt', 'r') as f:

            f.read()

    4）讀文件 - read()、readline() 和 readlines()

        read() 一次讀取整個文件，它通常用於將文件內容放到一個字元串變數中。如果文件過大，內存不夠，可以通過反復調用read(size)方法，每次最多讀取size個位元組的內容。

        readline() 一次讀取文件中一行內容，可反復調用

        readlines() 一次讀取所有內容並按行返回列表，該列表可以由for ... in ... 結構再進一步處理。

        特別注意：

        這三種方法是把每行末尾的'\n'也讀進來了，如有需要就得我們手動去掉'\n'

        with open('test.txt', 'r') as f:

            list = f.readlines()

        for i in range(0, len(list)):

            list[i] = list[i].rstrip('\n')

寫文件

    1）寫文件和讀文件是一樣的，唯一區別是open文件時，傳入標識符不同，即'w'或者'wb'表示寫文本文件或寫二進制文件

    f = open('test.txt', 'w')

    f = open('test.txt', 'wb')

    f = open('test.txt', 'a')

    f.close()

    特別注意：

    1. 如果沒有這個文件，會自動創建一個新文件；如果有，就會先把原文件的內容清空再寫入；若不想清空原來的內容而是直接在後面追加新的內容，就用'a'這個模式

    2. 寫文件，操作系統往往不會立刻把數據寫入磁碟，而是放到內存緩存起來，空閑的時候再慢慢寫入。只有調用close()方法時，操作系統才保證把沒有寫入的數據全部寫入磁碟。忘記調用close()的後果是數據可能只寫了一部分到磁碟，剩下的丟失了。

    2）寫文件 - write()、writelines()

    write()方法和read()、readline()方法對應，是將字元串寫入到文件中。

    writelines()方法和readlines()方法對應，也是針對 列表 的操作。它接收一個 字元串列表 作為參數，將他們寫入到文件中。

    特別注意：

    換行符不會自動的加入，需要顯式的加入換行符。

    f = open('test.txt', 'w')

    f.writelines(["111\n", "222\n", "333\n"])

補充說明：

1）對於非默認編碼(utf-8)的文件，需要open時添加encording參數，選擇對應的編碼方式

2）r+, w+, a+，可讀可寫

3）seek()方法，移動文件指針

seek(offset[, whence]) ，offset是相對於某個位置的偏移量。位置由whence決定，默認whence=0，從開頭起；whence=1，從當前位置算起；whence=2相對於文件末尾移動，通常offset取負值。

⑷ Python按行讀取文件的簡單實現方法

Python按行讀取文件的簡單實現方法
下面小編就為大家帶來一篇Python按行讀取文件的簡單實現方法。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。
1：readline()
file = open("sample.txt")
while 1:
line = file.readline()
if not line:
break
pass # do something
file.close()
一行一行得從文件讀數據，顯然比較慢；
不過很省內存；
測試讀10M的sample.txt文件，每秒大約讀32000行；
2：fileinput
import fileinput
for line in fileinput.input("sample.txt"):
pass
寫法簡單一些，不過測試以後發現每秒只能讀13000行數據，效率比上一種方法慢了兩倍多；
3：readlines()

file = open("sample.txt")
while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something
file.close()
用同樣的數據測試，它每秒可以讀96900行數據！效率是第一種方法的3倍，第二種方法的7倍！
4：文件迭代器
每次只讀取和顯示一行，讀取大文件時應該這樣：
file = open("sample.txt")
for line in file:
pass # do something
file.close()
以上就是小編為大家帶來的Python按行讀取文件的簡單實現方法全部內容了

⑸ Python 處理大文件並用pickle保存

1、當一個文件太大，例如余咐豎幾個 G，電腦配置限制，無法一次性讀入內存，可以分簡森塊讀入。豎大例如：

2、讀取之後使用pickle 模塊進行持久化

⑹ python怎樣實現一行一行讀取文件數據，並且要實現讀取一行數據，就進行條件判斷

超簡單

get='''12
15
16
19
23'''
result=get.split('
')
foriinresult:
ifint(i)>16:
print(i)

滿意還請採納

⑺ Python讀取文件內容的方法有幾種

filename=open('i:\\install\\test.txt','r+')#讀取xx路徑xx文件;r+代表的是讀寫並存方式 print filename.read()#讀取所有的文件

⑻ Python程序，要求打開一個文本文件，從固定行開始讀取一直讀取某一匹配結果的前一行

實現此功能的代碼如下：

f = open('xx.txt')

lines = f.readlines()

f.close()

l_list = lines[1:] #從第二行開始

for l in l_list:

if l.find('a') ==-1:

print l #在沒有找到a之前一直列印

else:

break #如果找到，則跳出循環

(8)python按行讀取大文件擴展閱讀：

用python讀取文本文件，對讀出的每一行進行操作的實現方式如下：

f=open("test.txt","r")

whileTrue:

line=f.readline()

ifline:

pass

line=line.strip()

p=line.rfind('.')

filename=line[0:p]

print"create%s"%line

else:

break

f.close()

⑼ Python其實很簡單 第十五章 文件操作

在各種變數中保存的數據都是臨時的，隨著程序運行結束都會丟失。要做到數據長期有效，必須建立在磁碟中建立文件，將數據輸入到文件中並保存。需要獲取數據時需要打開文件讀取。

而我們自己建立的程序都是應用程序，從本質上講，應用程序是無法直接操作計算機的硬體的，譬如讀寫磁碟中文件，這就需要調用操作系統中的相應命令。接下來我們使用的Python內置函數open()、write()都是通過調用操作系統的相關命令才實現文件讀寫的，至於其中的細節，我們就不需要考慮了。

15.1創建和打開文件

在Python 中創建或打開文件，實際上是建立一個對象，該對象通過調用內置的open()函數創建或打開一個文件。

語法：

file object = open(filename [, mode][, buffering])

參數說明如下：

filename：file_name變數是一個包含了你要訪問的文件名稱的字元串值；

mode：mode決定了打開文件的模式：只讀，寫入，追加等。所有可取值見如下的完全列表。這個參數是非強制的，默認文件訪問模式為只讀(r)。

Buffering：如果buffering的值被設為0，就不會有寄存；如果buffering的值取1，訪問文件時會寄存行；如果將buffering的值設為大於1的整數，表明了這就是的寄存區的緩沖大小；如果取負值，寄存區的緩沖大小則為系統默認。

mode參數的參數值及說明

對於其中最難區別的r、r+、w、w+、a、a+幾個參數的區別總結如下，要特別注意指針的位置：

下面舉例說明open( )函數的使用方法。

例1：

>>> file=open(Ƈ.py')

如果文件「1.py」存在，則可以打開此文件；如果文件「1.py」不存在，則會出現如下提示：

Traceback (most recent call last):

File " ", line 1, in

file=open(Ƈ.py')

FileNotFoundError: [Errno 2] No such file or directory: Ƈ.py'

例2：

>>> file=open(Ɗ.py',』a+』)

雖然文件「4.py」不存在，但運行並未出現錯誤，參見上表，「a+」的含義是以讀寫模式打開文件，如果該文件已經存在，新內容將以追加方式寫入；如果該文件不存在，則新建文件用於寫入。查看文件夾，發現已經生成了一個新的文件4.py。

例3：

file=open('python.png','rb')

print(file)

運行結果：

這就是說，雖然Python可以打開一個圖片格式的文件，但print()並不能將其輸出，還需要第三方庫中模塊的相應方法去處理，如PIL中的open()f方法。

例4：

file = open("f.txt", "w",encoding='utf-8')

# 以只寫模式打開文件f.txt，編碼方式為utf-8

print( "文件名: ", file.name) # 輸出文件名

print( "是否已關閉 : ", file.closed) # 文件是否打開

print( "訪問模式 : ", file.mode) # 文件訪問模式

運行結果：

文件名: f.txt

是否已關閉 : False

訪問模式 : w

例5：

15.2關閉文件

打開文件使用後要及時關閉，以免造成不必要的破壞，同時也可以釋放內存。在Python中使用close()方法可以關閉文件。

語法格式：

file.close()

其中，file為文件對象。

15.3 with語句

with 語句適用於對資源進行訪問的場合，確保不管使用過程中是否發生異常都會執行必要的「清理」操作，釋放資源，比如文件使用後自動關閉、線程中鎖的自動獲取和釋放等。

with語句的語法格式如下：

with expression as target:

with-body

其中，expression用於指定一個表達式，譬如打開文件的open()函數。target用於指定一個變數，並且將expression的結果保存到該變數中，譬如文件對象file。with-body用於指定with語句體，譬如一些文件操作的相關語句，如果沒有要執行的語句體，則直接用pass語句代替。

假設python當前目錄下存在一個test.txt文件，其內容如下：

Python是一種解釋型語言： 這意味著開發過程中沒有了編譯這個環節。類似於PHP和Perl語言。

Python是互動式語言： 這意味著，您可以在一個 Python 提示符 >>> 後直接執行代碼。

Python是面向對象語言: 這意味著Python支持面向對象的風格或代碼封裝在對象的編程技術。

Python是初學者的語言：Python 對初級程序員而言，是一種偉大的語言，它支持廣泛的應用程序開發。

舉例如下：

with open('test.txt','r',encoding='utf-8') as file:

line=file.readline() # readline()方法可以讀取文件一行數據，接下來就會講到。

print(line)

運行結果如下：

Python是一種解釋型語言： 這意味著開發過程中沒有了編譯這個環節。類似於PHP和Perl語言。

而此時，我們給該段代碼with語句之外再增加一個讀取文件的語句，代碼如下：

with open('test.txt','r',encoding='utf-8') as file:

line=file.readline()

print(line)

line2=file.readline()

print(line2)

發現出現了如下錯誤提示：

Traceback (most recent call last):

File "C:/Users/zym/AppData/Local/Programs/Python/Python39/3.py", line 5, in

line2=file.readline()

ValueError: I/O operation on closed file.

意思是要讀取的文件已經被關閉了。

由此可知，當with語句運行結束後，被打開的test.txt文件就自動關閉了。

15.4讀取文件

在Python 中讀取文件的方法有：

1、讀取指定個數的字元

格式如下：

File.read([size])

其中，file為打開的文件對象。size為可選參數，可以指定要讀取的字元個數，省缺表示讀取所有內容。

在調用read()方法讀取文件內容時，文件必須是以r（只讀）或者r+(讀寫）方式打開。

如：

with open('test.txt','r',encoding='utf-8') as file:

txt=file.read() （或txt=file.read(10)）

print(txt)

將讀取、輸出test.txt文件的全部內容（或前10個字元）。

2、移動文件的指針

對於剛打開的文件，文件指針總是指向文件頭的。也可以通過seek()方法將文件的指針移動到新的位置。

格式如下：

file.seek(offset[,whence])

其中，file表示已經打開的文件對象；offset用於指定移動的字元個數；whence表示從哪個位置起始計算個數，其值為0表示從文件頭開始計算，其值為1表示從當前位置開始計算，其值為2表示從文件尾開始計算，默認值為0。

例如：

with open('test.txt','r',encoding='utf-8') as file:

string=file.read(9)

print('取9個字元： '+string)

file.seek(2) #指針從文件頭開始移動2個字元

string=file.read(9) #從當前位置讀取10個字元

輸出結果：

取9個字元：

Python是一種

取9個字元：

thon是一種解釋

而下面的代碼會拋出錯誤：

with open('test.txt','r',encoding='utf-8') as file:

file.seek(2,1) #指針從當前位置開始移動2個字元

string=file.read(10) #從當前位置讀取10個字元

print('取10個字元： '+string)

錯誤提示為：

Traceback (most recent call last):

File "C:.py", line 7, in

file.seek(2,1) #指針從當前位置開始移動2個字元

io.UnsupportedOperation: can't do nonzero cur-relative seeks

原因在於，必須使用b模式（即rb）打開文件，才能使用whence參數。但是，b模式（二進制）不適合文本文件。對於test.txt這樣的文本文件，為了解決通過改變指針讀取任意位置字元，可以採用加一個位置變數的方法來存儲指針的值。

例如：

with open('test.txt','r',encoding='utf-8') as file:

#utf-8漢字與英文字元都佔一個字元

string='' #設置一個空字元串

pointer=0 #當前指針為0

str1=file.read(6) #讀取6個字元

pointer+=6 #指針變數後移6個字元

string+=str1 #string用來存放已讀取的字元

print('取6個字元： ',str1)

file.seek(pointer) #指針從文件頭開始移動2個字元

str1=file.read(8) #從當前位置讀取10個字元

pointer+=8 #指針跳過已讀取的字元

string+=str1

print('再取8個字元： ',str1)

print('所有讀取的字元： ',string)

print('當前指針所處的位置： ',pointer)

str1=file.read(1)

print('當前指針所處的字元： ',str1)

運行結果如下：

取6個字元：

Python

再取8個字元：

是一種解釋型語言

所有讀取的字元：

Python是一種解釋型語言

當前指針所處的位置：

14

當前指針所處的字元：

：

3、讀取一行數據readline()方法

語法格式：

file.readline()

例：

with open('test.txt','r',encoding='utf-8') as f:

string=f.read(1) # 讀取文件的第一個字元

if string != '': # 防止文件為空文件

lineno=0

while True:

line=f.readline()

if line != '':

lineno+=1

print('第'+str(lineno)+'行：'+line,end='')

# 因為每行都有自帶的分行符，print()語句不允許換行

else:

break # 出現空行時停止讀取

else:

print('要讀取的文件為空文件！')

運行結果：

第1行：ython是一種解釋型語言： 這意味著開發過程中沒有了編譯這個環節。類似於PHP和Perl語言。

第2行：Python是互動式語言： 這意味著，您可以在一個 Python 提示符 >>> 後直接執行代碼。

第3行：Python是面向對象語言: 這意味著Python支持面向對象的風格或代碼封裝在對象的編程技術。

第4行：Python是初學者的語言：Python 對初級程序員而言，是一種偉大的語言，它支持廣泛的應用程序開發。

4、讀取全部行命令readlines()方法

語法格式：

File.readlines()

該方法與read()方法一樣，在調用read()方法讀取文件內容時，文件必須是以r（只讀）或者r+(讀寫）方式打開。

例：

with open('test.txt','r',encoding='utf-8') as f:

txt=f.readlines()

print(txt)

運行結果：

['Python是一種解釋型語言： 這意味著開發過程中沒有了編譯這個環節。類似於PHP和Perl語言。 ', 'Python是互動式語言： 這意味著，您可以在一個 Python 提示符 >>> 後直接執行代碼。 ', 'Python是面向對象語言: 這意味著Python支持面向對象的風格或代碼封裝在對象的編程技術。 ', 'Python是初學者的語言：Python 對初級程序員而言，是一種偉大的語言，它支持廣泛的應用程序開發。 ']

從上面的運行結果可以看出，readlines()方法的返回值為一個字元串列表。所以，也可以以讀取列表元素的方法輸出。如下所示：

with open('test.txt','r',encoding='utf-8') as f:

txt=f.readlines()

for line in txt:

print(line,end='')

運行結果：

Python是一種解釋型語言： 這意味著開發過程中沒有了編譯這個環節。類似於PHP和Perl語言。

Python是互動式語言： 這意味著，您可以在一個 Python 提示符 >>> 後直接執行代碼。

Python是面向對象語言: 這意味著Python支持面向對象的風格或代碼封裝在對象的編程技術。

Python是初學者的語言：Python 對初級程序員而言，是一種偉大的語言，它支持廣泛的應用程序開發。

15.5 寫入文件內容

語法格式如下：

file.write(string)

其中，file為打開的文件對象，string為要寫入的字元串。

寫入文件內容時，文件必須以w（可寫）或a（追加）模式打開。否則，會拋出如下異常提示：

Traceback (most recent call last):

File "C:.py", line 2, in

f.write('人生苦短，我用Python！')

io.UnsupportedOperation: not writable

關於write()方法的用法舉例如下：

with open('test.txt','a',encoding='utf-8') as f:

f.write('人生苦短，我用Python！')

with open('test.txt','r',encoding='utf-8') as f:

txt=f.read()

print(txt)

運行結果：

Python是一種解釋型語言： 這意味著開發過程中沒有了編譯這個環節。類似於PHP和Perl語言。

Python是互動式語言： 這意味著，您可以在一個 Python 提示符 >>> 後直接執行代碼。

Python是面向對象語言: 這意味著Python支持面向對象的風格或代碼封裝在對象的編程技術。

Python是初學者的語言：Python 對初級程序員而言，是一種偉大的語言，它支持廣泛的應用程序開發。

人生苦短，我用Python！

可以看出，由於文件的打開方式為a模式（追加模式），寫入的內容被寫入到文件的末尾。

在Python中，文件操作方法里沒有類似於字元串內的計算長度、查找、替換、截取、分隔等方法，為什麼沒有？原因可能是文件的類型太復雜，譬如說二進制文件，上述操作的意義不大。如果僅僅要對文本文件進行上述操作，完全可以先把文件的內容讀取到字元串中，再用相應的字元串函數或方法去操作就可以了。譬如，要將test.txt文件中的字元串『Python』替換為』PHP』，則可以用如下代碼完成：

txt1=''

with open('test.txt','r',encoding='utf-8') as f:

txt1=f.read() #先將文件內容存入字元串txt1中

txt2=txt1.replace('Python','PHP') #將txt1中的'Python'替換為'PHP'，並存入txt2

with open('test.txt','w',encoding='utf-8') as f:

f.write(txt2) #將字元串txt2的內容寫回到文件中

這里之所以分兩步打開文件（第一次為r模式，第二次為w模式），而沒有採用一次讀寫（r+、w+方式），因為那樣比較容易出錯。實踐證明，將文件的讀操作和寫操作分開其實是非常正確的選擇。