導航:首頁 > 編程語言 > python多線程讀寫文件

python多線程讀寫文件

發布時間:2023-01-20 10:48:22

python 拿來直接用的7個os讀寫文件的操作!網友:建議收藏!

在學習真實案例之前,我們先來了解一下Python文件操作的一些基本概念~~

如何創建讀取和寫出的文件對象,open()方法來搞定

他有兩個參數,第一個就是讀取的文件名稱,第二個是可選的,指的是打開文件的模式,默認是讀取文件。

當我們獲取到讀取文件對象fin之後我們就可以讀取文件內容了,這里介紹兩種方式。

第一種是直接讀取文件內容,

第二種是按行讀取文件內容。

區別在於如果你的文件非常大,如果直接讀取效率會非常低下,甚至會撐爆內存。

所以按行讀取按行處理就不會因為文件過大而產生問題了

文件讀取完成之後寫出文件有如下方式:

'\n'的意思是我們手動換行

最後關閉文件有兩種方式

為什麼要關閉文件呢?

如果不關閉他就會持續打開狀態,瑣事其他進程後者線程要操作它的時候就會報錯

我們有時候寫入非常大的數據的時候打開文件後會發現數據不是最新的?

這是因為python在寫出文件是先寫到內存中,等到一定的事件之後或者文件到達一定的數量之後才會寫入到磁碟

所以我們如果想要看最新的數據,可直接調用如下方法

接下來我們使用數據進行測試

1. 文件讀操作

文件讀、寫操作比較常見。讀取文件,要先判斷文件是否存在。

若文件存在,再讀取;不存在,拋出文件不存在異常。

文件存在情況:

文件不存在情況:

open 後,務必要 close,這種寫法有些繁瑣,還容易出錯。藉助 with 語法,同時實現 open 和 close 功能,這是更常用的方法。

2.獲取文件的後綴名

如何優雅地獲取文件後綴名?os.path 模塊,splitext 能夠優雅地提取文件後綴。

3. 批量修改文件後綴名

修改之前

修改文件後綴名的文件方法如下:

從修改之後:

4. 獲取文件名

有時拿到一個文件名時,名字帶有路徑。這時,使用 os.path、split 方法實現路徑和文件的分離。

我們還可以直接使用使用os.path 模塊,splitext 提取文件後綴名。

5.獲取以指定後綴結尾的文件

當我們想要查詢某路徑下所有以固定後綴結尾的文件時,可以使用如下方法

6. 批量修改文件後綴名

後綴名批量修改,實現思路:

1. 遍歷目錄下的所有文件

2. 獲取文件的後綴名

3. 如果後綴名命中為 old_ext,rename 重命名

defbatch_rename(work_dir, old_ext, new_ext):

"""

傳遞當前目錄,原來後綴名,新的後綴名後,批量重命名後綴

7. 批量獲取文件修改時間

os.walk 生成文件樹結構,os.path.getmtime 返迴文件的最後一次修改時間:

⑵ python py文件同時開兩個線程可以嗎

可以的。
Python 多線程
多線程類似於同時執行多個不同程序,多線程運行有如下優點:

使用線程可以把占據長時間的程序中的任務放到後台去處理。
用戶界面可以更加吸引人,這樣比如用戶點擊了一個按鈕去觸發某些事件的處理,可以彈出一個進度條來顯示處理的進度
程序的運行速度可能加快
在一些等待的任務實現上如用戶輸入、文件讀寫和網路收發數據等,線程就比較有用了。在這種情況下我們可以釋放一些珍貴的資源如內存佔用等等。
線程在執行過程中與進程還是有區別的。每個獨立的進程有一個程序運行的入口、順序執行序列和程序的出口。但是線程不能夠獨立執行,必須依存在應用程序中,由應用程序提供多個線程執行控制。

每個線程都有他自己的一組CPU寄存器,稱為線程的上下文,該上下文反映了線程上次運行該線程的CPU寄存器的狀態。

指令指針和堆棧指針寄存器是線程上下文中兩個最重要的寄存器,線程總是在進程得到上下文中運行的,這些地址都用於標志擁有線程的進程地址空間中的內存。

線程可以被搶占(中斷)。
在其他線程正在運行時,線程可以暫時擱置(也稱為睡眠) -- 這就是線程的退讓。

⑶ python 多線程爬取網站數據利用線程池

"""

@author: wangxingchun

多線程(線程池)

下載數據

"""

import requests

import csv

from concurrent.futures import ThreadPoolExecutor as tp

#創建一個csv文件,注意創建writer對象"csv.writer()"

f = open('xinfadi.csv','w',encoding='utf8')

csvwrite = csv.writer(f)

#如果寫入txt文件,不需要創建writer對象。

# f = open('xinfadidata.txt','w',encoding='utf8')

#創建一個函數,以頁碼做為參數

def down(n_page):

url = 'http://www.xinfadi.com.cn/getPriceData.html'

data = {'count': 428225,'current': n_page,'limit': 20}

resp = requests.post(url,data=data)

datas =resp.json()

#通過分析數據嵌套情況,獲取數據。此處可在網頁開發工具json數據中查看分析。

for i in range(len(datas['list'])):

name = datas['list'][i]['prodName']

highPrice = datas['list'][i]['highPrice']

lowPrice = datas['list'][i]['lowPrice']

pubDate = datas['list'][i]['pubDate']

place = datas['list'][i]['place']

csvwrite.writerow((name,highPrice,lowPrice,pubDate,place))#writerow要求寫入的是可迭代對象

# f.writelines(f'{name},{highPrice},{lowPrice},{pubDate},{place} ')

resp.close()

if __name__ == '__main__':

with tp(50) as t: #創建線程池,

for n in range(1,101): #遍歷數據網頁

t.submit(down,n) #提交給線程池,進行多線程下載

print(f'共{n}頁數據下載完畢!')

f.close()

⑷ python讀取大文件處理時使用多線程

如果有個很大的文件,幾十G?,需要每次讀取一部分,處理後再讀取剩餘部分。
with open as f 已經從內部處理難點,使用 for line in f 以迭代器的形式每次讀取一行,不會有內存問題。

下面程序的思路是用一個列表存放讀取到的數據,達到長度後就開始處理,處理完就清空列表,繼續執行

⑸ Python如何讀寫文本文件

1.open使用open打開文件後一定要記得調用文件對象的close()方法。比如可以用try/finally語句來確保最後能關閉文件。
file_object = open('thefile.txt')
try:
all_the_text = file_object.read( )
finally:
file_object.close( )
註:不能把open語句放在try塊里,因為當打開文件出現異常時,文件對象file_object無法執行close()方法。
2.讀文件讀文本文件input = open('data', 'r')
#第二個參數默認為r
input = open('data')

讀二進制文件input = open('data', 'rb')
讀取所有內容file_object = open('thefile.txt')
try:
all_the_text = file_object.read( )
finally:
file_object.close( )
讀固定位元組file_object = open('abinfile', 'rb')
try:
while True:
chunk = file_object.read(100)
if not chunk:
break
do_something_with(chunk)
finally:
file_object.close( )
讀每行list_of_all_the_lines = file_object.readlines( )
如果文件是文本文件,還可以直接遍歷文件對象獲取每行:
for line in file_object:
process line
3.寫文件寫文本文件output = open('data.txt', 'w')
寫二進制文件output = open('data.txt', 'wb')
追加寫文件output = open('data.txt', 'a')

output .write("\n都有是好人")

output .close( )

寫數據file_object = open('thefile.txt', 'w')
file_object.write(all_the_text)
file_object.close( )

⑹ 使用 Python 讀寫文件

有些數據是臨時的,它們在應用程序運行時存儲在內存中,然後丟棄。但是有些數據是持久的。它們存儲在硬碟驅動器上供以後使用,而且它們通常是用戶最關心的東西。對於程序員來說,編寫代碼讀寫文件是很常見的,但每種語言處理該任務的方式都不同。本文演示了如何使用 Python 處理文件數據。

在 Linux 上,你可能已經安裝了 Python。如果沒有,你可以通過發行版軟體倉庫安裝它。例如,在 CentOS 或 RHEL 上:

在 macOS 上,你可以使用 MacPorts或Homebrew安裝。在 Windows 上,你可以使用Chocolatey安裝。

一旦安裝了 Python,打開你最喜歡的文本編輯器,准備好寫代碼吧。

如果你需要向一個文件中寫入數據,記住有三個步驟:

這與你在計算機上編碼、編輯照片或執行其他操作時使用的步驟完全相同。首先,打開要編輯的文檔,然後進行編輯,最後關閉文檔。

在 Python 中,過程是這樣的:

這個例子中,第一行以 模式打開了一個文件,然後用變數 f 表示,我使用了 f 是因為它在 Python 代碼中很常見,使用其他任意有效變數名也能正常工作。

在打開文件時,有不同的模式:

第二行表示向文件中寫入數據,本例寫入的是純文本,但你可以寫入任意類型的數據。

最後一行關閉了文件。

對於快速的文件交互,常用有一種簡短的方法可以寫入數據。它不會使文件保持打開狀態,所以你不必記得調用 close 函數。相反,它使用 with 語法:

如果你或你的用戶需要通過應用程序需要向文件中寫入一些數據,然後你需要使用它們,那麼你就需要讀取文件了。與寫入類似,邏輯一樣:

同樣的,這個邏輯反映了你一開始使用計算機就已知的內容。閱讀文檔,你可以打開、閱讀,然後關閉。在計算機術語中,「打開」文件意味著將其載入到內存中。

實際上,一個文本文件內容肯定不止一行。例如,你需要讀取一個配置文件、 游戲 存檔或樂隊下一首歌曲的歌詞,正如你打開一本實體書時,你不可能立刻讀完整本書,代碼也只能解析已經載入到內存中的文件。因此,你可能需要遍歷文件的內容。

示例的第一行指明使用 模式打開一個文件,然後文件交由變數 f 表示,但就像你寫數據一樣,變數名是任意的。 f 並沒有什麼特殊的,它只是單詞 「file」 的最簡表示,所以 Python 程序員會經常使用它。

在第二行,我們使用了 line ,另一個任意變數名,用來表示 f 的每一行。這告訴 Python 逐行迭代文件的內容,並將每一行的內容列印到輸出中(在本例中為終端或IDLE)。

就像寫入一樣,使用 with 語法是一種更簡短的方法讀取數據。即不需要調用 close 方法,方便地快速交互。

使用 Python 有很多方法向文件寫入數據,包括用 JSON、YAML、TOML等不同的格式寫入。還有一個非常好的內置方法用於創建和維護SQLite資料庫,以及許多庫來處理不同的文件格式,包括圖像、音頻和視頻等。

via: https://opensource.com/article/21/7/read-write-files-python

作者:Seth Kenlon選題:lujun9972譯者:MjSeven校對:turbokernel

⑺ python request/讀寫/上傳文件

python 讀寫文件:

data_json = json.mps(result_r)  #json字元串  

f =open('E://XXX.txt',"a+")  #打開文件,追加+讀寫

f.write(data_json) # data_json 寫入XXX.txt'文件

f.seek(0)  # 游標移動到文件開頭

lines = f.read() # 逐行讀入

f.close() #關閉文件

mode 打開的方式(r,w,a,x,b,t,r+,w+,a+,U)

r 以只讀方式打開文件。文件的指針會放在文件的開頭。

w 以寫入方式打開文件。文件存在覆蓋文件,文件不存在創建一個新文件。

a 以追加方式打開文件。如果文件已存在,文件指針放在文件末尾。如果文件不存在,創建新文件並可寫入。

r+ 打開一個文件用於讀寫,文件指針會放在文件的開頭

w+ 打開一個文件用於讀寫,文件存在覆蓋文件,文件不存在創建一個新文件。

a+ 打開一個文件用於讀寫,如果文件已存在,文件指針放在文件末尾。如果文件不存在,創建新文件並可寫入。

記憶方法:記住r讀,w寫,a追加,每個模式後加入+號就變成可讀寫。

f =open('E://xxx.txt',"a+")    /    f=open(r'E://xxx.txt',mode='a+',encoding='UTF-8')

踩坑1>  

沒有加encoding='UTF-8',可能會報如下錯:

import requests  # 使用 request函數需導入 request 庫

import json   #使用 JSON 函數需要導入 json 庫: import json 。

param ={} #請求body

url ='http://域名/api' 

header = {'content-type':'application/json'}

r = requests.post(url,json=param,headers=header)    #發送post請求

result_r = r.json() #請求返回的json傳入對象result_r

data_json = json.mps(result_r)  #將 Python-result_r對象轉為字元串 json.mps()

文件上傳請求(csv文件)

file_path = "xxx.csv"   文件路徑

uploaddata = {"file":open(file_path, "rb")}  

file_upload_result = requests.post(api_URL, files=uploaddata, cookies=cookie)

⑻ Python文件讀寫

常見的讀寫操作:

Python內置了讀寫文件的函數,用法和C是兼容的。本節介紹內容大致有:文件的打開/關閉、文件對象、文件的讀寫等。僅示例介紹 TXT 類型文檔的讀寫,也就是最基礎的文件讀寫,也需要注意編碼問題;

open()   close()     with open(...) as ...

看以下示例就能了解 Python 的 open() 及 close() 函數。這邊調用 read()方法可以一次讀取文件的全部內容,Python把內容讀到內存,用一個str對象表示,具體使用參見下文。

在 E 盤 python_file 文件夾下新建一 a.txt,輸入隨意,如下:

Python 操作 打開及關閉方式 如下:

注意 open() 之後 一定要 close()。但由於文件讀寫時都可能產生IOError,為了保證無論是否出錯都能正確地關閉文件,我們用 try ... finally 來實現:

python 簡化了改寫法,即用 with open(...) as ...  ; 建議之後文件讀寫都用該寫法:

上面,你肯定注意到了參數 "r";該參數決定了打開文件的模式:只讀,寫入,追加等。所有可取值見如下的完全列表。這個參數是非強制的,默認文件訪問模式為只讀(r)。

相關參數:

File 對象

file 為一對象,它有一些內置屬性,如下

file對象的屬性:

read()    read(size)   readline()   readlines()

之前的例子已經接觸到了 read() 函數,該函數會會一次性讀取文件的全部內容,如果能確保文件的大小,自然可以。但若文件過大,內存就爆了,所以,可以反復調用read(size)方法,每次最多讀取size個位元組的內容;也可調用 readline() 每次讀取一行內容;而調用readlines()可以一次讀取所有內容並按行返回list。總之,根據需求來。僅以 txt 文件為例,其他的文件讀取需要特殊處理;另外,文件的格式編碼方式也需要注意;這邊僅介紹讀取方法,其他的會出專題來學習。

在D:\python_file 下新建 poet.txt;示例如下,由於一個中文會佔多個位元組,故read(size) 部分會亂碼,如:

write()

寫文件和讀文件是一樣的,唯一區別是調用open()函數時,傳入標識符'w'或者'wb'表示寫文本文件或寫二進制文件;'a' 對應的表示追加等。

如下示例,由於 write.txt 文件不存在,創建該文件並寫入:

在上例基礎上,繼續,該文件被重寫:

繼續,這次使用追加,會在文件結尾追加:

https://blog.csdn.net/msspark/article/details/86745391

https://www.cnblogs.com/tianyiliang/p/8192703.html

https://www.cnblogs.com/camilla/p/7234657.html

https://blog.csdn.net/songlh1234/article/details/83316468

https://www.php.cn/python-tutorials-412484.html

https://blog.csdn.net/weay/article/details/80946152

https://blog.csdn.net/xc_zhou/article/details/81044836

⑼ python讀取文件—txt文件常用讀寫操作

f = open("data.txt","r")   #設置文件對象

f.close() #關閉文件

為了方便,避免忘記close掉這個文件對象,可以用下面這種方式替代

with open('data.txt',"r") as f:    #設置文件對象

 str = f.read()    #可以是隨便對文件的操作

f = open("data.txt","r")   #設置文件對象

str = f.read()     #將txt文件的所有內容讀入到字元串str中

f.close()   #將文件關閉

f = open("data.txt","r")   #設置文件對象

line = f.readline()

line = line[:-1]

while line:             #直到讀取完文件

     line = f.readline()  #讀取一行文件,包括換行符

     line = line[:-1]     #去掉換行符,也可以不去

f.close() #關閉文件

data = []

for line in open("data.txt","r"): #設置文件對象並讀取每一行文件

     data.append(line)               #將每一行文件加入到list中

 f = open("data.txt","r")   #設置文件對象

 data = f.readlines()  #直接將文件中按行讀到list里,效果與方法2一樣

 f.close()             #關閉文件

可以使用pandas的.read_csv,讀取文件的時候可以給每一列起名字,通過列名來調取相應列的數據。

import pandas as pd

data = pd.read_csv(" OSDO1012.txt",sep=',',header=None, names=['lat','lon','time','z']

使用data.lat就可以讀取名為lat這一列的數據

 data = np.loadtxt("data.txt",skiprows = 1)   #將文件中數據載入到data數組里,並且跳過第一行

 with open('data.txt','w') as f:    #設置文件對象

    f.write(str)                 #將字元串寫入文件中

data = ['a','b','c']

單層列表寫入文件

with open("data.txt","w") as f:

    f.writelines(data)

每一項用空格隔開,一個列表是一行寫入文件

data =[ ['a','b','c'],['a','b','c'],['a','b','c']]

with open("data.txt","w") as f:                      #設置文件對象

     for i in data:                                    #對於雙層列表中的數據

      i = str(i).strip('[').strip(']').replace(',','').replace('\'','')+'\n'  #將其中每一個列表規范化成字元串

     f.write(i)                      #寫入文件

直接將每一項都寫入文件

data =[ ['a','b','c'],['a','b','c'],['a','b','c']]

with open("data.txt","w") as f:                    #設置文件對象

     for i in data:                                      #對於雙層列表中的數據

          f.writelines(i)                            #寫入文件

np.savetxt("data.txt",data)     #將數組中數據寫入到data.txt文件

np.save("data.txt",data)        #將數組中數據寫入到data.txt文件

⑽ python可以同時對文件進行讀寫操作嗎

對文件的操作,步驟為:打開一個文件-->讀取/寫入內容-->保存文件
文件讀寫的3中模式
# 1、w 寫模式,它是不能讀的,如果用w模式打開一個已經存在的文件,會清空以前的文件內容,重新寫
# w+ 是讀寫內容,只要沾上w,肯定會清空原來的文件
# 2、r 讀模式,只能讀,不能寫,而且文件必須存在
# r+ 是讀寫模式,只要沾上r,文件必須存在
# 3、a 追加模式,也能寫,在文件的末尾添加內容
# 4、rb+、wb+、ab+,這種是二進制模式打開或者讀取,一些音樂文件
test1.txt

1 如果無情的風摘走了那片樹葉
2 如同摘走了我的心
3 在每一個想你的夜晚
4 請允許我將你抱緊
5 我不像一隻大雁可以秋去春來
6 銜回丟失的緣分
7 所以從來不敢回憶離別
8 越是清晰 越是傷心
9 你說所有的城市沒有不同
10 我寧願相信你心中有片草原

1、循環讀取文件中的每一行內容:
demo1.py1 file = open('test1.txt','r+')# 打開test1.txt 文件
2 for line in file: # 遍歷file文件
3 print('line裡面存放的是:',line) # 循環列印文件中每一行內容
4 print(type(line)) # <class 'str'> 類型是字元串
5 file.close()# 關閉文件

用with的方式打開文件,不用擔心使用完文件後忘記關閉,它會自動將文件關閉1 with open('test1.txt','r+') as file:
2 for line in file:
3 print('line裡面存放的是:',line) # 循環列印文件中每一行內容
4 print(type(line)) # <class 'str'> 類型是字元串
3、向文件中寫入內容
1 with open('users','a+') as fw: # 打開文件
2 fw.write('寫入文件內容')
4、用函數的方式讀取文件

1 def read_file(filename):
2 '''
3 用來讀取文件內容
4 :param filename: 文件名
5 '''
6 with open(filename,'a+') as fr:
7 fr.seek(0) # 移動文件指針
8 content = fr.read() # content 類型是字元串
9 print('content:',content)
10 read_file('users') # 調用函數

5、用函數的方式寫文件

1 def write_file(filename,content):
2 '''
3 用來讀取文件內容的
4 :param filename: 文件名
5 '''
6 with open(filename,'a+') as fw:
7 fw.seek(0) # 移動文件指針
8 fw.truncate() # 清空文件內容
9 fw.write(str(content))
10 write_file('a','hello world') # 調用函數

閱讀全文

與python多線程讀寫文件相關的資料

熱點內容
程序員生產智能創意 瀏覽:65
匯和銀行app怎麼登錄 瀏覽:379
騰訊伺服器如何上傳源碼 瀏覽:739
單片機的原理概述 瀏覽:508
火控pdf 瀏覽:267
如何復制雲伺服器centos環境 瀏覽:984
債權pdf 瀏覽:299
紅色番字的app怎麼下載 瀏覽:876
雲伺服器流程教課 瀏覽:702
中國農業銀行app怎麼沒有網 瀏覽:997
幾率表演算法 瀏覽:902
程序員理工科 瀏覽:708
企業郵箱登錄收件伺服器地址 瀏覽:558
計算機思維與演算法設計的重要性 瀏覽:664
linux刷新磁碟命令 瀏覽:76
我的世界如何查看伺服器種子pc 瀏覽:284
linuxlamp編譯安裝 瀏覽:609
枚舉演算法ppt 瀏覽:184
cmd查看進程命令 瀏覽:956
手機內怎麼刪除APP 瀏覽:834