python大文件讀寫

Ⅰ python讀寫文件

讀文件

    1）使用open()方法打開文件，返回一個文件對象

        原型：open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)

        舉例：f = open('test.txt', 'r')

        test.txt表示文件路徑(包含文件名，這個file參數可以是絕對或者相對路徑)

        r表示是讀文本文件，rb是讀二進制文本文件。（這個mode參數默認值就是r）

    2）使用close()方法關閉文件

        f.close()

        打開後的文件必須關閉，因為文件對象會佔用系統資源，系統打開文件數量也就有限了

    3）打開文件時的異常處理

        f=open('test.txt', 'r')

        f.read()

        f.close()

        FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'

        文件讀寫時都有可能產生異常IOError(比如文件不存在)，這樣其後面的f.read()，f.close()就不會調用。為保證無論是否異常都可以關閉文件，一般使用try ... finally來處理：

        try:

            f = open('test.txt', 'r')

            f.read()

        finally:

            if f:

                f.close()

        但這種寫法過於繁瑣，所以Python引入了with語句來自動調用close()方法：

        with open('test.txt', 'r') as f:

            f.read()

    4）讀文件 - read()、readline() 和 readlines()

        read() 一次讀取整個文件，它通常用於將文件內容放到一個字元串變數中。如果文件過大，內存不夠，可以通過反復調用read(size)方法，每次最多讀取size個位元組的內容。

        readline() 一次讀取文件中一行內容，可反復調用

        readlines() 一次讀取所有內容並按行返回列表，該列表可以由for ... in ... 結構再進一步處理。

        特別注意：

        這三種方法是把每行末尾的'\n'也讀進來了，如有需要就得我們手動去掉'\n'

        with open('test.txt', 'r') as f:

            list = f.readlines()

        for i in range(0, len(list)):

            list[i] = list[i].rstrip('\n')

寫文件

    1）寫文件和讀文件是一樣的，唯一區別是open文件時，傳入標識符不同，即'w'或者'wb'表示寫文本文件或寫二進制文件

    f = open('test.txt', 'w')

    f = open('test.txt', 'wb')

    f = open('test.txt', 'a')

    f.close()

    特別注意：

    1. 如果沒有這個文件，會自動創建一個新文件；如果有，就會先把原文件的內容清空再寫入；若不想清空原來的內容而是直接在後面追加新的內容，就用'a'這個模式

    2. 寫文件，操作系統往往不會立刻把數據寫入磁碟，而是放到內存緩存起來，空閑的時候再慢慢寫入。只有調用close()方法時，操作系統才保證把沒有寫入的數據全部寫入磁碟。忘記調用close()的後果是數據可能只寫了一部分到磁碟，剩下的丟失了。

    2）寫文件 - write()、writelines()

    write()方法和read()、readline()方法對應，是將字元串寫入到文件中。

    writelines()方法和readlines()方法對應，也是針對 列表 的操作。它接收一個 字元串列表 作為參數，將他們寫入到文件中。

    特別注意：

    換行符不會自動的加入，需要顯式的加入換行符。

    f = open('test.txt', 'w')

    f.writelines(["111\n", "222\n", "333\n"])

補充說明：

1）對於非默認編碼(utf-8)的文件，需要open時添加encording參數，選擇對應的編碼方式

2）r+, w+, a+，可讀可寫

3）seek()方法，移動文件指針

seek(offset[, whence]) ，offset是相對於某個位置的偏移量。位置由whence決定，默認whence=0，從開頭起；whence=1，從當前位置算起；whence=2相對於文件末尾移動，通常offset取負值。

Ⅱ python 一個文件太大+內存裝不下+怎麼讀取 mongo

Python 環境下文件的讀取問題，請參見拙文Python 基礎 —— 文件

這是一道著名的 Python 面試題，考察的問題是，Python 讀取大文件和一般規模的文件時的區別，也即哪些介面不適合讀取大文件。

1. read() 介面的問題

f = open(filename, 'rb')
f.read()12

我們來讀取 1 個 nginx 的日至文件，規模為 3Gb 大小。read() 方法執行的操作，是一次性全部讀入內存，顯然會造成：

MemoryError...12

也即會發生內存溢出。

2. 解決方案：轉換介面

• （1）readlines() ：讀取全部的行，構成一個 list，實踐表明還是會造成內存的問題；

  for line in f.reanlines(): ...
  

• 1

• 2

• （2）readline()：每次讀取一行，

  while True:
  line = f.readline() if not line: break
  

• 1

• 2

• 3

• 4

• （3）read(1024)：重載，指定每次讀取的長度

  while True: block = f.read(1024) if not block: break
  

• 1

• 2

• 3

• 4

3. 真正 Pythonic 的方法

真正 Pythonci 的方法，使用 with 結構：

• with open(filename, 'rb') as f: for line in f:


• <do something with the line>123



對可迭代對象 f，進行迭代遍歷：for line in f，會自動地使用緩沖IO（buffered IO）以及內存管理，而不必擔心任何大文件的問題。

There should be one – and preferably only one – obvious way to do it.

Ⅲ Python文件讀寫

常見的讀寫操作：

Python內置了讀寫文件的函數，用法和C是兼容的。本節介紹內容大致有：文件的打開/關閉、文件對象、文件的讀寫等。僅示例介紹 TXT 類型文檔的讀寫，也就是最基礎的文件讀寫，也需要注意編碼問題；

open()   close()     with open(...) as ...

看以下示例就能了解 Python 的 open() 及 close() 函數。這邊調用 read()方法可以一次讀取文件的全部內容，Python把內容讀到內存，用一個str對象表示，具體使用參見下文。

在 E 盤 python_file 文件夾下新建一 a.txt，輸入隨意，如下：

Python 操作 打開及關閉方式 如下：

注意 open() 之後 一定要 close()。但由於文件讀寫時都可能產生IOError，為了保證無論是否出錯都能正確地關閉文件，我們用 try ... finally 來實現：

python 簡化了改寫法，即用 with open(...) as ...  ； 建議之後文件讀寫都用該寫法：

上面，你肯定注意到了參數 "r"；該參數決定了打開文件的模式：只讀，寫入，追加等。所有可取值見如下的完全列表。這個參數是非強制的，默認文件訪問模式為只讀(r)。

相關參數：

File 對象

file 為一對象，它有一些內置屬性，如下

file對象的屬性：

read()    read(size)   readline()   readlines()

之前的例子已經接觸到了 read() 函數，該函數會會一次性讀取文件的全部內容，如果能確保文件的大小，自然可以。但若文件過大，內存就爆了，所以，可以反復調用read(size)方法，每次最多讀取size個位元組的內容；也可調用 readline() 每次讀取一行內容；而調用readlines()可以一次讀取所有內容並按行返回list。總之，根據需求來。僅以 txt 文件為例，其他的文件讀取需要特殊處理；另外，文件的格式編碼方式也需要注意；這邊僅介紹讀取方法，其他的會出專題來學習。

在D:\python_file 下新建 poet.txt；示例如下，由於一個中文會佔多個位元組，故read(size) 部分會亂碼，如：

write()

寫文件和讀文件是一樣的，唯一區別是調用open()函數時，傳入標識符'w'或者'wb'表示寫文本文件或寫二進制文件；'a' 對應的表示追加等。

如下示例，由於 write.txt 文件不存在，創建該文件並寫入：

在上例基礎上，繼續，該文件被重寫：

繼續，這次使用追加，會在文件結尾追加：

https://blog.csdn.net/msspark/article/details/86745391

https://www.cnblogs.com/tianyiliang/p/8192703.html

https://www.cnblogs.com/camilla/p/7234657.html

https://blog.csdn.net/songlh1234/article/details/83316468

https://www.php.cn/python-tutorials-412484.html

https://blog.csdn.net/weay/article/details/80946152

https://blog.csdn.net/xc_zhou/article/details/81044836

Ⅳ Python3讀取大文件的方法

1.方法一：利用yield生成器

2. 方法二：利用open()自帶方法生成迭代對象，這個是一行一行的讀取

總結：二者的比較

方法一：可以靈活控制一次讀取的size，在速度上較2有優勢，適用於一些大的二進制文件，比如讀取一些大的視頻或者圖片等。

方法二：在處理一些文本的時候感覺更加便利，按行讀更容易對文本進行處理。

Ⅳ python讀取大文件處理時使用多線程

如果有個很大的文件，幾十G?，需要每次讀取一部分，處理後再讀取剩餘部分。
with open as f 已經從內部處理難點，使用 for line in f 以迭代器的形式每次讀取一行，不會有內存問題。

下面程序的思路是用一個列表存放讀取到的數據，達到長度後就開始處理，處理完就清空列表，繼續執行

Ⅵ Python讀取文件內容的方法有幾種

filename=open('i:\\install\\test.txt','r+')#讀取xx路徑xx文件;r+代表的是讀寫並存方式 print filename.read()#讀取所有的文件

Ⅶ python對文件的讀操作方法有哪些

摘要 1 文件讀取全文本操作

Ⅷ Python中的文件讀寫-理論知識

Python處理兩種不同類型的文件：二進制文件和文本文件。了解兩者之間的差異很重要，因為它們的處理方式不同。

二進制文件

在正常計算機使用期間使用的大多數文件實際上是二進制文件，而不是文本。比如：Microsoft Word .doc文件實際上是一個二進制文件，即使它只有文本。

二進制文件的其他示例包括：

圖像文件，包括.jpg，.png，.bmp，.gif，等。

資料庫文件包括.mdb，.frm和.sqlite

文件，包括.doc，.xls，.pdf或者其他文件。

那是因為這些文件都有特殊處理的要求，需要特定類型的軟體來打開它。例如，您需要Excel來打開.xls文件，並使用資料庫程序來打開.sqlite文件。

文本文件

一方面，沒有特定的編碼，可以通過沒有任何特殊處理的標准文本編輯器打開。但是，每個文本文件都必須遵守一組規則：

文本文件必須是可讀的。他們可以（並且經常會）包含許多特殊編碼，尤其是在HTML或其他標記語言中，但您仍然可以說出它的含義

文本文件中的數據按行組織。在大多數情況下，每一行都是一個獨特的元素，無論是指令行還是命令。

此外，文本文件在每行的末尾都有一個看不見的字元，這使文本編輯器知道應該有一個新行。通過編程與這些文件交互時，您可以利用該字元。在Python中，它用「 n」 表示。

在哪裡可以找到Python的文件I / O工具

在Python中工作時，您不必擔心導入任何特定的外部庫來處理文件。Python附帶有「文件庫」，文件I / O工具和實用程序是核心語言的內置部分。

但是在其他語言（如C ++）中，要處理文件，您必須通過包含正確的頭文件來啟用文件I / O工具#include <fstream>。如果您使用java編寫代碼，則需要使用該import java.io.*語句。

使用Python，就沒有必要這樣做，這是因為Python有一組內置函數，可以處理讀取和寫入文件所需的所有內容。

Ⅸ Python 拿來直接用的7個os讀寫文件的操作！網友：建議收藏！

在學習真實案例之前，我們先來了解一下Python文件操作的一些基本概念~~

如何創建讀取和寫出的文件對象，open()方法來搞定

他有兩個參數，第一個就是讀取的文件名稱，第二個是可選的，指的是打開文件的模式，默認是讀取文件。

當我們獲取到讀取文件對象fin之後我們就可以讀取文件內容了，這里介紹兩種方式。

第一種是直接讀取文件內容，

第二種是按行讀取文件內容。

區別在於如果你的文件非常大，如果直接讀取效率會非常低下，甚至會撐爆內存。

所以按行讀取按行處理就不會因為文件過大而產生問題了

文件讀取完成之後寫出文件有如下方式：

'\n'的意思是我們手動換行

最後關閉文件有兩種方式

為什麼要關閉文件呢？

如果不關閉他就會持續打開狀態，瑣事其他進程後者線程要操作它的時候就會報錯

我們有時候寫入非常大的數據的時候打開文件後會發現數據不是最新的？

這是因為python在寫出文件是先寫到內存中，等到一定的事件之後或者文件到達一定的數量之後才會寫入到磁碟

所以我們如果想要看最新的數據，可直接調用如下方法

接下來我們使用數據進行測試

1. 文件讀操作

文件讀、寫操作比較常見。讀取文件，要先判斷文件是否存在。

若文件存在，再讀取；不存在，拋出文件不存在異常。

文件存在情況：

文件不存在情況：

open 後，務必要 close，這種寫法有些繁瑣，還容易出錯。藉助 with 語法，同時實現 open 和 close 功能，這是更常用的方法。

2.獲取文件的後綴名

如何優雅地獲取文件後綴名？os.path 模塊，splitext 能夠優雅地提取文件後綴。

3. 批量修改文件後綴名

修改之前

修改文件後綴名的文件方法如下：

從修改之後：

4. 獲取文件名

有時拿到一個文件名時，名字帶有路徑。這時，使用 os.path、split 方法實現路徑和文件的分離。

我們還可以直接使用使用os.path 模塊，splitext 提取文件後綴名。

5.獲取以指定後綴結尾的文件

當我們想要查詢某路徑下所有以固定後綴結尾的文件時，可以使用如下方法

6. 批量修改文件後綴名

後綴名批量修改，實現思路：

1. 遍歷目錄下的所有文件

2. 獲取文件的後綴名

3. 如果後綴名命中為 old_ext，rename 重命名

defbatch_rename(work_dir, old_ext, new_ext):

"""

傳遞當前目錄，原來後綴名，新的後綴名後，批量重命名後綴

7. 批量獲取文件修改時間

os.walk 生成文件樹結構，os.path.getmtime 返迴文件的最後一次修改時間：