python寫大文件

A. 怎麼壓縮用python寫的游戲的文件大小或者用什麼開發庫

你可以嘗試以下方法：

1. 建立虛擬環境，減少Python打包額外的第三方庫

2. 使用upx和pyinstaller進行壓縮

3. 使用upx和nuitka進行壓縮

這幾種方法網上可以找到很多教程，都能夠在一定程度上減小打包出來的文件大小，但是因為Python的解釋型語言，除了使用nuitka編譯成exe以外，其它的壓縮方法作用一般不大，但是使用nuitka編譯後的文件也會有較大的體積。

B. Python 拿來直接用的7個os讀寫文件的操作！網友：建議收藏！

在學習真實案例之前，我們先來了解一下Python文件操作的一些基本概念~~

如何創建讀取和寫出的文件對象，open()方法來搞定

他有兩個參數，第一個就是讀取的文件名稱，第二個是可選的，指的是打開文件的模式，默認是讀取文件。

當我們獲取到讀取文件對象fin之後我們就可以讀取文件內容了，這里介紹兩種方式。

第一種是直接讀取文件內容，

第二種是按行讀取文件內容。

區別在於如果你的文件非常大，如果直接讀取效率會非常低下，甚至會撐爆內存。

所以按行讀取按行處理就不會因為文件過大而產生問題了

文件讀取完成之後寫出文件有如下方式：

'\n'的意思是我們手動換行

最後關閉文件有兩種方式

為什麼要關閉文件呢？

如果不關閉他就會持續打開狀態，瑣事其他進程後者線程要操作它的時候就會報錯

我們有時候寫入非常大的數據的時候打開文件後會發現數據不是最新的？

這是因為python在寫出文件是先寫到內存中，等到一定的事件之後或者文件到達一定的數量之後才會寫入到磁碟

所以我們如果想要看最新的數據，可直接調用如下方法

接下來我們使用數據進行測試

1. 文件讀操作

文件讀、寫操作比較常見。讀取文件，要先判斷文件是否存在。

若文件存在，再讀取；不存在，拋出文件不存在異常。

文件存在情況：

文件不存在情況：

open 後，務必要 close，這種寫法有些繁瑣，還容易出錯。藉助 with 語法，同時實現 open 和 close 功能，這是更常用的方法。

2.獲取文件的後綴名

如何優雅地獲取文件後綴名？os.path 模塊，splitext 能夠優雅地提取文件後綴。

3. 批量修改文件後綴名

修改之前

修改文件後綴名的文件方法如下：

從修改之後：

4. 獲取文件名

有時拿到一個文件名時，名字帶有路徑。這時，使用 os.path、split 方法實現路徑和文件的分離。

我們還可以直接使用使用os.path 模塊，splitext 提取文件後綴名。

5.獲取以指定後綴結尾的文件

當我們想要查詢某路徑下所有以固定後綴結尾的文件時，可以使用如下方法

6. 批量修改文件後綴名

後綴名批量修改，實現思路：

1. 遍歷目錄下的所有文件

2. 獲取文件的後綴名

3. 如果後綴名命中為 old_ext，rename 重命名

defbatch_rename(work_dir, old_ext, new_ext):

"""

傳遞當前目錄，原來後綴名，新的後綴名後，批量重命名後綴

7. 批量獲取文件修改時間

os.walk 生成文件樹結構，os.path.getmtime 返迴文件的最後一次修改時間：

C. 關於python里寫文件的操作

1. fo.close()---你小括弧沒有。
   

2. fo = open("D:/text一.txt","w",encoding = 'utf-8')
   ls = ['13','14','15']
   fo.writelines(ls)
   fo.close()

3. 文件在d盤下面

4. 

D. python 讀取大文件數據怎麼快速讀取

python中讀取數據的時候有幾種方法，無非是read，readline，readlings和xreadlines幾種方法，在幾種方法中，read和xreadlines可以作為迭代器使用，從而在讀取大數據的時候比較有效果.

在測試中，先創建一個大文件，大概1GB左右，使用的程序如下：

[python] view plainprint?
import os.path
import time
while os.path.getsize('messages') <1000000000:
f = open('messages','a')
f.write('this is a file/n')
f.close()

print 'file create complted'

在這里使用循環判斷文件的大小，如果大小在1GB左右，那麼結束創建文件。--需要花費好幾分鍾的時間。

測試代碼如下：

[python] view plainprint?
#22s
start_time = time.time()
f = open('messages','r')
for i in f:
end_time = time.time()
print end_time - start_time
break
f.close()

#22s
start_time = time.time()
f = open('messages','r')
for i in f.xreadlines():
end_time = time.time()
print end_time - start_time
break
f.close()

start_time = time.time()
f = open('messages','r')
k= f.readlines()
f.close()
end_time = time.time()
print end_time - start_time

使用迭代器的時候，兩者的時間是差不多的，內存消耗也不是很多，使用的時間大概在22秒作用
在使用完全讀取文件的時候，使用的時間在40s，並且內存消耗相當嚴重，大概使用了1G的內存。。

其實，在使用跌倒器的時候，如果進行連續操作，進行print或者其他的操作，內存消耗還是不可避免的，但是內存在那個時候是可以釋放的，從而使用迭代器可以節省內存，主要是可以釋放。
而在使用直接讀取所有數據的時候，數據會保留在內存中，是無法釋放這個內存的，從而內存卡死也是有可能的。

在使用的時候，最好是直接使用for i in f的方式來使用，在讀取的時候，f本身就是一個迭代器，其實也就是f.read方法

E. Python文件讀寫

常見的讀寫操作：

Python內置了讀寫文件的函數，用法和C是兼容的。本節介紹內容大致有：文件的打開/關閉、文件對象、文件的讀寫等。僅示例介紹 TXT 類型文檔的讀寫，也就是最基礎的文件讀寫，也需要注意編碼問題；

open()   close()     with open(...) as ...

看以下示例就能了解 Python 的 open() 及 close() 函數。這邊調用 read()方法可以一次讀取文件的全部內容，Python把內容讀到內存，用一個str對象表示，具體使用參見下文。

在 E 盤 python_file 文件夾下新建一 a.txt，輸入隨意，如下：

Python 操作 打開及關閉方式 如下：

注意 open() 之後 一定要 close()。但由於文件讀寫時都可能產生IOError，為了保證無論是否出錯都能正確地關閉文件，我們用 try ... finally 來實現：

python 簡化了改寫法，即用 with open(...) as ...  ； 建議之後文件讀寫都用該寫法：

上面，你肯定注意到了參數 "r"；該參數決定了打開文件的模式：只讀，寫入，追加等。所有可取值見如下的完全列表。這個參數是非強制的，默認文件訪問模式為只讀(r)。

相關參數：

File 對象

file 為一對象，它有一些內置屬性，如下

file對象的屬性：

read()    read(size)   readline()   readlines()

之前的例子已經接觸到了 read() 函數，該函數會會一次性讀取文件的全部內容，如果能確保文件的大小，自然可以。但若文件過大，內存就爆了，所以，可以反復調用read(size)方法，每次最多讀取size個位元組的內容；也可調用 readline() 每次讀取一行內容；而調用readlines()可以一次讀取所有內容並按行返回list。總之，根據需求來。僅以 txt 文件為例，其他的文件讀取需要特殊處理；另外，文件的格式編碼方式也需要注意；這邊僅介紹讀取方法，其他的會出專題來學習。

在D:\python_file 下新建 poet.txt；示例如下，由於一個中文會佔多個位元組，故read(size) 部分會亂碼，如：

write()

寫文件和讀文件是一樣的，唯一區別是調用open()函數時，傳入標識符'w'或者'wb'表示寫文本文件或寫二進制文件；'a' 對應的表示追加等。

如下示例，由於 write.txt 文件不存在，創建該文件並寫入：

在上例基礎上，繼續，該文件被重寫：

繼續，這次使用追加，會在文件結尾追加：

https://blog.csdn.net/msspark/article/details/86745391

https://www.cnblogs.com/tianyiliang/p/8192703.html

https://www.cnblogs.com/camilla/p/7234657.html

https://blog.csdn.net/songlh1234/article/details/83316468

https://www.php.cn/python-tutorials-412484.html

https://blog.csdn.net/weay/article/details/80946152

https://blog.csdn.net/xc_zhou/article/details/81044836

F. Python中的文件讀寫-理論知識

Python處理兩種不同類型的文件：二進制文件和文本文件。了解兩者之間的差異很重要，因為它們的處理方式不同。

二進制文件

在正常計算機使用期間使用的大多數文件實際上是二進制文件，而不是文本。比如：Microsoft Word .doc文件實際上是一個二進制文件，即使它只有文本。

二進制文件的其他示例包括：

圖像文件，包括.jpg，.png，.bmp，.gif，等。

資料庫文件包括.mdb，.frm和.sqlite

文件，包括.doc，.xls，.pdf或者其他文件。

那是因為這些文件都有特殊處理的要求，需要特定類型的軟體來打開它。例如，您需要Excel來打開.xls文件，並使用資料庫程序來打開.sqlite文件。

文本文件

一方面，沒有特定的編碼，可以通過沒有任何特殊處理的標准文本編輯器打開。但是，每個文本文件都必須遵守一組規則：

文本文件必須是可讀的。他們可以（並且經常會）包含許多特殊編碼，尤其是在HTML或其他標記語言中，但您仍然可以說出它的含義

文本文件中的數據按行組織。在大多數情況下，每一行都是一個獨特的元素，無論是指令行還是命令。

此外，文本文件在每行的末尾都有一個看不見的字元，這使文本編輯器知道應該有一個新行。通過編程與這些文件交互時，您可以利用該字元。在Python中，它用「 n」 表示。

在哪裡可以找到Python的文件I / O工具

在Python中工作時，您不必擔心導入任何特定的外部庫來處理文件。Python附帶有「文件庫」，文件I / O工具和實用程序是核心語言的內置部分。

但是在其他語言（如C ++）中，要處理文件，您必須通過包含正確的頭文件來啟用文件I / O工具#include <fstream>。如果您使用java編寫代碼，則需要使用該import java.io.*語句。

使用Python，就沒有必要這樣做，這是因為Python有一組內置函數，可以處理讀取和寫入文件所需的所有內容。

G. Python 處理大文件並用pickle保存

1、當一個文件太大，例如余咐豎幾個 G，電腦配置限制，無法一次性讀入內存，可以分簡森塊讀入。豎大例如：

2、讀取之後使用pickle 模塊進行持久化