python迭代讀取文件

1. 使用 python 讀寫文件

有些數據是臨時的，它們在應用程序運行時存儲在內存中，然後丟棄。但是有些數據是持久的。它們存儲在硬碟驅動器上供以後使用，而且它們通常是用戶最關心的東西。對於程序員來說，編寫代碼讀寫文件是很常見的，但每種語言處理該任務的方式都不同。本文演示了如何使用 Python 處理文件數據。

在 Linux 上，你可能已經安裝了 Python。如果沒有，你可以通過發行版軟體倉庫安裝它。例如，在 CentOS 或 RHEL 上：

在 macOS 上，你可以使用 MacPorts或Homebrew安裝。在 Windows 上，你可以使用Chocolatey安裝。

一旦安裝了 Python，打開你最喜歡的文本編輯器，准備好寫代碼吧。

如果你需要向一個文件中寫入數據，記住有三個步驟：

這與你在計算機上編碼、編輯照片或執行其他操作時使用的步驟完全相同。首先，打開要編輯的文檔，然後進行編輯，最後關閉文檔。

在 Python 中，過程是這樣的：

這個例子中，第一行以 寫 模式打開了一個文件，然後用變數 f 表示，我使用了 f 是因為它在 Python 代碼中很常見，使用其他任意有效變數名也能正常工作。

在打開文件時，有不同的模式：

第二行表示向文件中寫入數據，本例寫入的是純文本，但你可以寫入任意類型的數據。

最後一行關閉了文件。

對於快速的文件交互，常用有一種簡短的方法可以寫入數據。它不會使文件保持打開狀態，所以你不必記得調用 close 函數。相反，它使用 with 語法：

如果你或你的用戶需要通過應用程序需要向文件中寫入一些數據，然後你需要使用它們，那麼你就需要讀取文件了。與寫入類似，邏輯一樣：

同樣的，這個邏輯反映了你一開始使用計算機就已知的內容。閱讀文檔，你可以打開、閱讀，然後關閉。在計算機術語中，「打開」文件意味著將其載入到內存中。

實際上，一個文本文件內容肯定不止一行。例如，你需要讀取一個配置文件、 游戲 存檔或樂隊下一首歌曲的歌詞，正如你打開一本實體書時，你不可能立刻讀完整本書，代碼也只能解析已經載入到內存中的文件。因此，你可能需要遍歷文件的內容。

示例的第一行指明使用 讀 模式打開一個文件，然後文件交由變數 f 表示，但就像你寫數據一樣，變數名是任意的。 f 並沒有什麼特殊的，它只是單詞 「file」 的最簡表示，所以 Python 程序員會經常使用它。

在第二行，我們使用了 line ，另一個任意變數名，用來表示 f 的每一行。這告訴 Python 逐行迭代文件的內容，並將每一行的內容列印到輸出中（在本例中為終端或IDLE）。

就像寫入一樣，使用 with 語法是一種更簡短的方法讀取數據。即不需要調用 close 方法，方便地快速交互。

使用 Python 有很多方法向文件寫入數據，包括用 JSON、YAML、TOML等不同的格式寫入。還有一個非常好的內置方法用於創建和維護SQLite資料庫，以及許多庫來處理不同的文件格式，包括圖像、音頻和視頻等。

via: https://opensource.com/article/21/7/read-write-files-python

作者：Seth Kenlon選題：lujun9972譯者：MjSeven校對：turbokernel

2. python文件有哪些操作

使用文件：

• 文件迭代器是最好的讀取行工具，文件也有個迭代器會自動在for循環，列表解析或者其他迭代語句中對文件進行逐行讀取。

• 讀取內容是字元串，而不是對象，文件讀取的數據回到腳本時是一個字元串

• close是通常選項，文件上下文管理器是一種替代方法。但close()是一個好習慣。

其他文件工具

open函數及其返回的文件對象是python腳本中通向外部文件的主要介面，但還有其他的類似工具：

• 標准流，在sys模塊中預先打開的文件對象

• os模塊中的描述文件

• sockets、pipes和FIFO文件，文件類對象同步進程、網路通信

• 通過鍵來存取的文件，通過鍵直接存儲的不變的python對象

• Shell命令流，os.popen、subprocess.Popen這樣的工具

• 第三方開源的文件類工具等

3. Python按行讀取文件的簡單實現方法

Python按行讀取文件的簡單實現方法
下面小編就為大家帶來一篇Python按行讀取文件的簡單實現方法。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。
1：readline()
file = open("sample.txt")
while 1:
line = file.readline()
if not line:
break
pass # do something
file.close()
一行一行得從文件讀數據，顯然比較慢；
不過很省內存；
測試讀10M的sample.txt文件，每秒大約讀32000行；
2：fileinput
import fileinput
for line in fileinput.input("sample.txt"):
pass
寫法簡單一些，不過測試以後發現每秒只能讀13000行數據，效率比上一種方法慢了兩倍多；
3：readlines()

file = open("sample.txt")
while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something
file.close()
用同樣的數據測試，它每秒可以讀96900行數據！效率是第一種方法的3倍，第二種方法的7倍！
4：文件迭代器
每次只讀取和顯示一行，讀取大文件時應該這樣：
file = open("sample.txt")
for line in file:
pass # do something
file.close()
以上就是小編為大家帶來的Python按行讀取文件的簡單實現方法全部內容了

4. python 讀取大文件數據怎麼快速讀取

python中讀取數據的時候有幾種方法，無非是read，readline，readlings和xreadlines幾種方法，在幾種方法中，read和xreadlines可以作為迭代器使用，從而在讀取大數據的時候比較有效果.

在測試中，先創建一個大文件，大概1GB左右，使用的程序如下：

[python] view plainprint?
import os.path
import time
while os.path.getsize('messages') <1000000000:
f = open('messages','a')
f.write('this is a file/n')
f.close()

print 'file create complted'

在這里使用循環判斷文件的大小，如果大小在1GB左右，那麼結束創建文件。--需要花費好幾分鍾的時間。

測試代碼如下：

[python] view plainprint?
#22s
start_time = time.time()
f = open('messages','r')
for i in f:
end_time = time.time()
print end_time - start_time
break
f.close()

#22s
start_time = time.time()
f = open('messages','r')
for i in f.xreadlines():
end_time = time.time()
print end_time - start_time
break
f.close()

start_time = time.time()
f = open('messages','r')
k= f.readlines()
f.close()
end_time = time.time()
print end_time - start_time

使用迭代器的時候，兩者的時間是差不多的，內存消耗也不是很多，使用的時間大概在22秒作用
在使用完全讀取文件的時候，使用的時間在40s，並且內存消耗相當嚴重，大概使用了1G的內存。。

其實，在使用跌倒器的時候，如果進行連續操作，進行print或者其他的操作，內存消耗還是不可避免的，但是內存在那個時候是可以釋放的，從而使用迭代器可以節省內存，主要是可以釋放。
而在使用直接讀取所有數據的時候，數據會保留在內存中，是無法釋放這個內存的，從而內存卡死也是有可能的。

在使用的時候，最好是直接使用for i in f的方式來使用，在讀取的時候，f本身就是一個迭代器，其實也就是f.read方法

5. Python在讀取文件時用的迭代器和readline有何區別

我想使用迭代器和readline的區別大概在於「讀到文件末尾的時候，是否會拋出異常（是否用到了__next__方法），以及讀取內容方式的差異」

每次調用readline，會前進到下一行進行讀取，至文件末尾時返回空字元串，並不會拋出異常。而使用迭代器讀至文件末尾時會拋出StopInteration異常

python有個迭代協議：含有__next__()方法的對象會反復調用該方法來返回數據流中的後繼項，當沒有可用數據時，產生一個StopInteration異常
迭代器是遵循迭代協議的物件。所有迭代工具內部在每次迭代時都會調用__next__()，並且捕捉StopIteration異常來確定何時離開。

for循環會將文件內容預載入到內存中，生成字元串列表。所以用這樣的方式去讀取文本文件，運行最快，寫法也很簡單。

而readline的優勢在於，當我們只需要讀取某行時，可以在readline的size參數里直接指定，並不需要載入整個文件，當然readline還有其他方便的內置函數，文檔上都有一一列出

6. python 循環讀一個文件

Python按行讀文件
1. 最基本的讀文件方法：

# File: readline-example-1.py

file = open("sample.txt")

while 1:
line = file.readline()
if not line:
break
pass # do something

一行一行得從文件讀數據，顯然比較慢；不過很省內存。
在我的機器上讀10M的sample.txt文件，每秒大約讀32000行
2. 用fileinput模塊

# File: readline-example-2.py

import fileinput

for line in fileinput.input("sample.txt"):
pass

寫法簡單一些，不過測試以後發現每秒只能讀13000行數據，效率比上一種方法慢了兩倍多……
3. 帶緩存的文件讀取

# File: readline-example-3.py

file = open("sample.txt")

while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something

這個方法真的更好嗎？事實證明，用同樣的數據測試，它每秒可以讀96900行數據！效率是第一種方法的3倍，第二種方法的7倍！
————————————————————————————————————————————————————————————
在Python 2.2以後，我們可以直接對一個file對象使用for循環讀每行數據：

# File: readline-example-5.py

file = open("sample.txt")

for line in file:
pass # do something

而在Python 2.1里，你只能用xreadlines迭代器來實現：

# File: readline-example-4.py

file = open("sample.txt")

for line in file.xreadlines():
pass # do something

7. python怎麼讀取迭代對象

def autoid(n_max=1000):
....i = 1
....while i<n_max:
........yield i
........i += 1

方法一：用for 迭代每個值
for n in autoid():
....print(n)
方法二：使next（）逐個讀出
id = autoid()
print(next(id))
print(next(id))

8. python如何讀取文件的內容

# _*_ coding: utf-8 _*_

import pandas as pd

# 獲取文件的內容

def get_contends(path):

with open(path) as file_object:

contends = file_object.read()

return contends

# 將一行內容變成數組

def get_contends_arr(contends):

contends_arr_new = []

contends_arr = str(contends).split(']')

for i in range(len(contends_arr)):

if (contends_arr[i].__contains__('[')):

index = contends_arr[i].rfind('[')

temp_str = contends_arr[i][index + 1:]

if temp_str.__contains__('"'):

contends_arr_new.append(temp_str.replace('"', ''))

# print(index)

# print(contends_arr[i])

return contends_arr_new

if __name__ == '__main__':

path = 'event.txt'

contends = get_contends(path)

contends_arr = get_contends_arr(contends)

contents = []

for content in contends_arr:

contents.append(content.split(','))

df = pd.DataFrame(contents, columns=['shelf_code', 'robotid', 'event', 'time'])

(8)python迭代讀取文件擴展閱讀：

python控制語句

1、if語句，當條件成立時運行語句塊。經常與else, elif(相當於else if) 配合使用。

2、for語句，遍歷列表、字元串、字典、集合等迭代器，依次處理迭代器中的每個元素。

3、while語句，當條件為真時，循環運行語句塊。

4、try語句，與except,finally配合使用處理在程序運行中出現的異常情況。

5、class語句，用於定義類型。

6、def語句，用於定義函數和類型的方法。

9. Python csv模塊（讀寫文件）

CSV文件又稱為逗號分隔值文件，是一種通用的、相對簡單的文件格式，用以存儲表格數據，包括數字或者字元。CSV是電子表格和資料庫中最常見的輸入、輸出文件格式。

通過爬蟲將數據抓取的下來，然後把數據保存在文件，或者資料庫中，這個過程稱為數據的持久化存儲。本節介紹Python內置模塊CSV的讀寫操作。

1)csv.writer()

csv模塊中的writer類可用於讀寫序列化的數據，其語法格式如下：

參數說明：

csvfile：必須是支持迭代(Iterator)的對象，可以是文件(file)對象或者列表(list)對象。

dialect：編碼風格，默認為excel的風格，也就是使用逗號,分隔。

fmtparam：格式化參數，用來覆蓋之前dialect對象指定的編碼風格。

如果想同時寫入多行數據，需要使用writerrows()方法，代碼如下所示：

aggs.csv文件內容：

2)csv.DictWriter()

當然也可使用DictWriter類以字典的形式讀寫數據，使用示例如下：

name.csv文件內容，如下所示：

1)csv,reader()

csv模塊中的reader類和DictReader類用於讀取文件中的數據，其中reader()語法格式如下：

2)csv.DictReader()

應用示例如下：

輸出結果：

開課吧廣場-人才學習交流平台

10. python讀取文件問題,基礎問題

如果注意了參數細節，應該完全一樣。注意編碼和換行符。
用for的第二種是使用文件對象的可迭代iterable特性..迭代不需要一次全部讀出所有行，可以用於非同步操作