python讀取數據文件

⑴ python 拿來直接用的7個os讀寫文件的操作！網友：建議收藏！

在學習真實案例之前，我們先來了解一下Python文件操作的一些基本概念~~

如何創建讀取和寫出的文件對象，open()方法來搞定

他有兩個參數，第一個就是讀取的文件名稱，第二個是可選的，指的是打開文件的模式，默認是讀取文件。

當我們獲取到讀取文件對象fin之後我們就可以讀取文件內容了，這里介紹兩種方式。

第一種是直接讀取文件內容，

第二種是按行讀取文件內容。

區別在於如果你的文件非常大，如果直接讀取效率會非常低下，甚至會撐爆內存。

所以按行讀取按行處理就不會因為文件過大而產生問題了

文件讀取完成之後寫出文件有如下方式：

'\n'的意思是我們手動換行

最後關閉文件有兩種方式

為什麼要關閉文件呢？

如果不關閉他就會持續打開狀態，瑣事其他進程後者線程要操作它的時候就會報錯

我們有時候寫入非常大的數據的時候打開文件後會發現數據不是最新的？

這是因為python在寫出文件是先寫到內存中，等到一定的事件之後或者文件到達一定的數量之後才會寫入到磁碟

所以我們如果想要看最新的數據，可直接調用如下方法

接下來我們使用數據進行測試

1. 文件讀操作

文件讀、寫操作比較常見。讀取文件，要先判斷文件是否存在。

若文件存在，再讀取；不存在，拋出文件不存在異常。

文件存在情況：

文件不存在情況：

open 後，務必要 close，這種寫法有些繁瑣，還容易出錯。藉助 with 語法，同時實現 open 和 close 功能，這是更常用的方法。

2.獲取文件的後綴名

如何優雅地獲取文件後綴名？os.path 模塊，splitext 能夠優雅地提取文件後綴。

3. 批量修改文件後綴名

修改之前

修改文件後綴名的文件方法如下：

從修改之後：

4. 獲取文件名

有時拿到一個文件名時，名字帶有路徑。這時，使用 os.path、split 方法實現路徑和文件的分離。

我們還可以直接使用使用os.path 模塊，splitext 提取文件後綴名。

5.獲取以指定後綴結尾的文件

當我們想要查詢某路徑下所有以固定後綴結尾的文件時，可以使用如下方法

6. 批量修改文件後綴名

後綴名批量修改，實現思路：

1. 遍歷目錄下的所有文件

2. 獲取文件的後綴名

3. 如果後綴名命中為 old_ext，rename 重命名

defbatch_rename(work_dir, old_ext, new_ext):

"""

傳遞當前目錄，原來後綴名，新的後綴名後，批量重命名後綴

7. 批量獲取文件修改時間

os.walk 生成文件樹結構，os.path.getmtime 返迴文件的最後一次修改時間：

⑵ python爬蟲怎麼將讀取的數據導出excel文件,怎麼整齊

python爬蟲將讀取的數據導出excel文件並整理整齊的方法如下。
1、輸入import-xlsxwriter。
2、輸入excel的for循環。
3、excel收入的文件為格式化數據，在爬取數據漏巧後需要提前清洗數據。注意，excel是從1開始的列。使用xlwt模塊的主要宏搜此代碼，整個過程就是模擬手動將數據一個個填寫到Excel的單元格中，然後保存該Excel文蔽迅件。

⑶ 如何利用 Python 讀取數據科學中常見幾種文件

前言
如果你是數據行業的一份子，那麼你肯定會知道和不同的數據類型打交道是件多麼麻煩的事。不同數據格式、不同壓縮演算法、不同系統下的不同解析方法——很快就會讓你感到抓狂！噢！我還沒提那些非結構化數據和半結構化數據呢。
對於所有數據科學家和數據工程師來說，和不同的格式打交道都乏味透頂！但現實情況是，人們很少能得到整齊的列表數據。因此，熟悉不同的文件格式、了解處理它們時會遇到的困難以及處理某類數據時的最佳／最高效的方法，對於任何一個數據科學家（或者數據工程師）而言都必不可少。
在本篇文章中，你會了解到數據科學家或數據工程師必須知道的幾種常規格式。我會先向你介紹數據行業里常用的幾種不同的文件格式。隨後，我會向大家介紹如何在 Python 里讀取這些文件格式。
PS：在後文中提到的數據科學家，同樣也包括數據工程師以及所有的數據科學專家。
目錄
文件格式是什麼。數據科學家應當了解各種不同文件格式的原因。不同的文件格式以及從 Python 中讀取這些文件的方法。
1. 逗號分隔值
2. XLSX
3. ZIP
4. 純文本(txt)
5. JSON
6. XML
7. HTML
8. 圖像
9. 分層數據格式
10. PDF
11. DOCX
12. MP3
13. MP4
1. 文件格式是什麼。
文件格式是計算機為了存儲信息而使用的對信息的特殊編碼方式。首先，文件格式代表著文件的類型，如二進制文件或者 ASCII 文件等。其次，它體現了信息組織的方式。比如，逗號分隔值（CSV）文件格式用純文本來儲存列表數據。

為了識別一個文件的格式，你通常會去看這個文件的擴展名。比如，一個以「CSV」格式保存的名為「Data」的文件下方的文件名會顯示為「Data.csv」。看到「.csv」這個擴展名，我們就會清楚地知道這是一個「CSV」文件，並且還可以知道其中的數據是以表格的形式儲存的。
2. 數據科學家應當了解各種不同文件格式的原因。
通常，你碰到的文件類型取決於你當下構造的應用。舉個例子，在一個圖像處理系統中，你需要把圖像作為輸入和輸出。所以，你所見到的文件大都是jpeg、gif 或者 png 格式的。
作為一個數據科學家，你需要了解各種文件格式的底層結構以及相應的優勢和劣勢。只有了解了數據的底層結構，你才能夠進一步去探索它，或者決定如何來儲存相關的數據。
選擇一個最理想的文件格式來儲存數據能夠提升你的模型在處理數據時的性能。
現在，讓我們討論一下下方這些文件格式以及如何在 Python 中讀取它們：
逗號分隔值（CSV）XLSXZIP純文本（txt）JSONXMLHTML圖像分層數據格式PDFDOCXMP3MP4
3. 不同的文件格式以及從 Python 中讀取這些文件的方法。
3.1 逗號分隔值
逗號分隔值文件格式屬於電子表格文件格式的一種。
什麼是電子表格文件格式？
在電子表格文件格式中，數據被儲存在單元格里。每個單元格都處於特定的行和列中。電子表格文件中的列擁有不同的類型。比如說，它可以是字元串型的、日期型的或者整數型的。最常用的電子表格文件格式包括：逗號分隔值（CSV）、Microsoft Excel 電子表格（xls）以及 Microsoft Excel Open XML 電子表格（xlsx）。
CSV 文件中的每一行都代表一份觀察報告，或者也可以說是一條記錄。每一個記錄都包含一個或者更多由逗號分隔的欄位。
有時你看你會遇到用製表符而非逗號來分隔欄位的文件。這種文件格式被稱為 TSV（製表符分隔值）文件格式。
下面是一個用 Notepad 打開的 CSV 文件。

在Python 中從 CSV 文件里讀取數據
現在讓我們看看如何在 Python 中讀取一個 CSV 文件。你可以用 Python 中的「pandas」庫來載入數據。import pandas as pd
df = pd.read_csv(「/home/Loan_Prediction/train.csv」)
上方的代碼將會把 train.csv 文件載入進 DataFrame df 中。
3.2 XLSX文件
XLSX 是 Microsoft Excel Open XML 的文件格式，它同樣可以歸入電子表格文件格式這一類中。它是由 Microsoft Excel 開發的一種基於 XML 文件格式。Microsoft Office 2007 最先採用 XLSX 格式來儲存數據。
在XLSX 中，數據被放在工作表的單元格和列當中。每個 XLSX 文件可能包含一個或者更多工作表，所以一個工作簿中可能會包含多個工作表。
下面是一個在 Microsoft Excel 中打開的「xlsx」文件。

上圖顯示的這個文件里包含多個工作表，這些工作表的名稱分別為 Customers、Employees、Invoice 和 Order。圖片中顯示的是其中一個工作表——「Invoice」——中的數據。
從XLSX 文件讀取數據
讓我們一起來載入一下來自 XLSX 文件的數據並且定義一下相關工作表的名稱。此時，你可以用 Python 中的「pandas」庫來載入這些數據。import pandas as pd
df = pd.read_excel(「/home/Loan_Prediction/train.xlsx」,sheetname = 「Invoice」)
上方的代碼將會把來自「train.xlsx」文件的工作表「Invoice」載入進 DataFrame df 中。
3.3 ZIP 文件
ZIP 格式是一種歸檔文件格式。
什麼是歸檔文件格式？
在歸檔文件格式中，你可以創建一個包含多個文件和元數據的文件。歸檔文件格式通常用於將多個數據文件放入一個文件中的過程。這么做是為了方便對這些文件進行壓縮從而減少儲存它們所需的存儲空間。
有很多種常用的電腦數據歸檔格式可以創建歸檔文件。Zip、RAR 和 Tar 是最常用的3種用於壓縮數據的歸檔文件格式。
因此，ZIP 文件格式是一種無損壓縮格式，這意味著如果你用 ZIP 格式壓縮了多個文件，那麼在解壓縮之後你能夠完全恢復這些數據。ZIP 文件格式使用多種壓縮演算法來壓縮文件。你可以通過 .zip 這個擴展名輕易地識別出一個 ZIP 文件。
在Python 中讀取 .ZIP 文件
你可以通過導入「zipfile」包來讀取 zip 文件。下方的代碼可以實現讀取「T.zip」中的「train.csv」文件。import zipfile
在這里我已經討論了其中一種最常用的歸檔格式，也已經討論了如何在 python 中打開這種歸檔格式。我不會再對其他的歸檔格式進行展開討論。如果你想了解不同類型的歸檔格式並且想對其做出比較

⑷ Python如何從文件讀取數據

1.1 讀取整個文件

要讀取文件，需要一個包含幾行文本的文件（文件PI_DESC.txt與file_reader.py在同一目錄下）

PI_DESC.txt

3.1415926535
8979323846
2643383279
5028841971

file_reader.py

with open("PI_DESC.txt") as file_object:
contents = file_object.read()
print(contents)

我們可以看出，讀取文件時，並沒有使用colse()方法，那麼未妥善的關閉文件，會不會導致文件收到損壞呢？在這里是不會的，因為我們在open()方法前邊引入了關鍵字with，該關鍵字的作用是：在不需要訪問文件後將其關閉

1.2文件路徑

程序在讀取文本文件的時候，如果不給定路徑，那麼它會先在當前目錄下進行檢索，有時候我們需要讀取其他文件夾中的路徑，例如：

⑸ python如何讀取文件的內容

# _*_ coding: utf-8 _*_

import pandas as pd

# 獲取文件的內容

def get_contends(path):

with open(path) as file_object:

contends = file_object.read()

return contends

# 將一行內容變成數組

def get_contends_arr(contends):

contends_arr_new = []

contends_arr = str(contends).split(']')

for i in range(len(contends_arr)):

if (contends_arr[i].__contains__('[')):

index = contends_arr[i].rfind('[')

temp_str = contends_arr[i][index + 1:]

if temp_str.__contains__('"'):

contends_arr_new.append(temp_str.replace('"', ''))

# print(index)

# print(contends_arr[i])

return contends_arr_new

if __name__ == '__main__':

path = 'event.txt'

contends = get_contends(path)

contends_arr = get_contends_arr(contends)

contents = []

for content in contends_arr:

contents.append(content.split(','))

df = pd.DataFrame(contents, columns=['shelf_code', 'robotid', 'event', 'time'])

(5)python讀取數據文件擴展閱讀：

python控制語句茄團

1、if語句，當條件成立時運行語句塊。經常與else, elif(相當於else if) 配合使用。

2、for語句，遍歷列表、字元串、字典、集合等迭代器，依次處理迭代器中的每個元素。

3、while語句，當條件為真時，循環運行語句塊。

4、try語句，與except,finally配合使用處理在程序運行中出現的異常情況。

5、class語句，用於定義頃納拍類型。

6、def語句，用於定義函數和類型的方法。雀羨

⑹ 怎樣用python，讀取excel中的一列數據

用python讀取excel中的一列數據步驟如下：

1、首先打開dos命令窗，安裝必須的兩個庫，命令是：pip3 installxlrd；Pip3 install xlwt。