python读取数据文件

⑴ python 拿来直接用的7个os读写文件的操作！网友：建议收藏！

在学习真实案例之前，我们先来了解一下Python文件操作的一些基本概念~~

如何创建读取和写出的文件对象，open()方法来搞定

他有两个参数，第一个就是读取的文件名称，第二个是可选的，指的是打开文件的模式，默认是读取文件。

当我们获取到读取文件对象fin之后我们就可以读取文件内容了，这里介绍两种方式。

第一种是直接读取文件内容，

第二种是按行读取文件内容。

区别在于如果你的文件非常大，如果直接读取效率会非常低下，甚至会撑爆内存。

所以按行读取按行处理就不会因为文件过大而产生问题了

文件读取完成之后写出文件有如下方式：

'\n'的意思是我们手动换行

最后关闭文件有两种方式

为什么要关闭文件呢？

如果不关闭他就会持续打开状态，琐事其他进程后者线程要操作它的时候就会报错

我们有时候写入非常大的数据的时候打开文件后会发现数据不是最新的？

这是因为python在写出文件是先写到内存中，等到一定的事件之后或者文件到达一定的数量之后才会写入到磁盘

所以我们如果想要看最新的数据，可直接调用如下方法

接下来我们使用数据进行测试

1. 文件读操作

文件读、写操作比较常见。读取文件，要先判断文件是否存在。

若文件存在，再读取；不存在，抛出文件不存在异常。

文件存在情况：

文件不存在情况：

open 后，务必要 close，这种写法有些繁琐，还容易出错。借助 with 语法，同时实现 open 和 close 功能，这是更常用的方法。

2.获取文件的后缀名

如何优雅地获取文件后缀名？os.path 模块，splitext 能够优雅地提取文件后缀。

3. 批量修改文件后缀名

修改之前

修改文件后缀名的文件方法如下：

从修改之后：

4. 获取文件名

有时拿到一个文件名时，名字带有路径。这时，使用 os.path、split 方法实现路径和文件的分离。

我们还可以直接使用使用os.path 模块，splitext 提取文件后缀名。

5.获取以指定后缀结尾的文件

当我们想要查询某路径下所有以固定后缀结尾的文件时，可以使用如下方法

6. 批量修改文件后缀名

后缀名批量修改，实现思路：

1. 遍历目录下的所有文件

2. 获取文件的后缀名

3. 如果后缀名命中为 old_ext，rename 重命名

defbatch_rename(work_dir, old_ext, new_ext):

"""

传递当前目录，原来后缀名，新的后缀名后，批量重命名后缀

7. 批量获取文件修改时间

os.walk 生成文件树结构，os.path.getmtime 返回文件的最后一次修改时间：

⑵ python爬虫怎么将读取的数据导出excel文件,怎么整齐

python爬虫将读取的数据导出excel文件并整理整齐的方法如下。
1、输入import-xlsxwriter。
2、输入excel的for循环。
3、excel收入的文件为格式化数据，在爬取数据漏巧后需要提前清洗数据。注意，excel是从1开始的列。使用xlwt模块的主要宏搜此代码，整个过程就是模拟手动将数据一个个填写到Excel的单元格中，然后保存该Excel文蔽迅件。

⑶ 如何利用 Python 读取数据科学中常见几种文件

前言
如果你是数据行业的一份子，那么你肯定会知道和不同的数据类型打交道是件多么麻烦的事。不同数据格式、不同压缩算法、不同系统下的不同解析方法——很快就会让你感到抓狂！噢！我还没提那些非结构化数据和半结构化数据呢。
对于所有数据科学家和数据工程师来说，和不同的格式打交道都乏味透顶！但现实情况是，人们很少能得到整齐的列表数据。因此，熟悉不同的文件格式、了解处理它们时会遇到的困难以及处理某类数据时的最佳／最高效的方法，对于任何一个数据科学家（或者数据工程师）而言都必不可少。
在本篇文章中，你会了解到数据科学家或数据工程师必须知道的几种常规格式。我会先向你介绍数据行业里常用的几种不同的文件格式。随后，我会向大家介绍如何在 Python 里读取这些文件格式。
PS：在后文中提到的数据科学家，同样也包括数据工程师以及所有的数据科学专家。
目录
文件格式是什么。数据科学家应当了解各种不同文件格式的原因。不同的文件格式以及从 Python 中读取这些文件的方法。
1. 逗号分隔值
2. XLSX
3. ZIP
4. 纯文本(txt)
5. JSON
6. XML
7. HTML
8. 图像
9. 分层数据格式
10. PDF
11. DOCX
12. MP3
13. MP4
1. 文件格式是什么。
文件格式是计算机为了存储信息而使用的对信息的特殊编码方式。首先，文件格式代表着文件的类型，如二进制文件或者 ASCII 文件等。其次，它体现了信息组织的方式。比如，逗号分隔值（CSV）文件格式用纯文本来储存列表数据。

为了识别一个文件的格式，你通常会去看这个文件的扩展名。比如，一个以“CSV”格式保存的名为“Data”的文件下方的文件名会显示为“Data.csv”。看到“.csv”这个扩展名，我们就会清楚地知道这是一个“CSV”文件，并且还可以知道其中的数据是以表格的形式储存的。
2. 数据科学家应当了解各种不同文件格式的原因。
通常，你碰到的文件类型取决于你当下构造的应用。举个例子，在一个图像处理系统中，你需要把图像作为输入和输出。所以，你所见到的文件大都是jpeg、gif 或者 png 格式的。
作为一个数据科学家，你需要了解各种文件格式的底层结构以及相应的优势和劣势。只有了解了数据的底层结构，你才能够进一步去探索它，或者决定如何来储存相关的数据。
选择一个最理想的文件格式来储存数据能够提升你的模型在处理数据时的性能。
现在，让我们讨论一下下方这些文件格式以及如何在 Python 中读取它们：
逗号分隔值（CSV）XLSXZIP纯文本（txt）JSONXMLHTML图像分层数据格式PDFDOCXMP3MP4
3. 不同的文件格式以及从 Python 中读取这些文件的方法。
3.1 逗号分隔值
逗号分隔值文件格式属于电子表格文件格式的一种。
什么是电子表格文件格式？
在电子表格文件格式中，数据被储存在单元格里。每个单元格都处于特定的行和列中。电子表格文件中的列拥有不同的类型。比如说，它可以是字符串型的、日期型的或者整数型的。最常用的电子表格文件格式包括：逗号分隔值（CSV）、Microsoft Excel 电子表格（xls）以及 Microsoft Excel Open XML 电子表格（xlsx）。
CSV 文件中的每一行都代表一份观察报告，或者也可以说是一条记录。每一个记录都包含一个或者更多由逗号分隔的字段。
有时你看你会遇到用制表符而非逗号来分隔字段的文件。这种文件格式被称为 TSV（制表符分隔值）文件格式。
下面是一个用 Notepad 打开的 CSV 文件。

在Python 中从 CSV 文件里读取数据
现在让我们看看如何在 Python 中读取一个 CSV 文件。你可以用 Python 中的“pandas”库来加载数据。import pandas as pd
df = pd.read_csv(“/home/Loan_Prediction/train.csv”)
上方的代码将会把 train.csv 文件加载进 DataFrame df 中。
3.2 XLSX文件
XLSX 是 Microsoft Excel Open XML 的文件格式，它同样可以归入电子表格文件格式这一类中。它是由 Microsoft Excel 开发的一种基于 XML 文件格式。Microsoft Office 2007 最先采用 XLSX 格式来储存数据。
在XLSX 中，数据被放在工作表的单元格和列当中。每个 XLSX 文件可能包含一个或者更多工作表，所以一个工作簿中可能会包含多个工作表。
下面是一个在 Microsoft Excel 中打开的“xlsx”文件。

上图显示的这个文件里包含多个工作表，这些工作表的名称分别为 Customers、Employees、Invoice 和 Order。图片中显示的是其中一个工作表——“Invoice”——中的数据。
从XLSX 文件读取数据
让我们一起来加载一下来自 XLSX 文件的数据并且定义一下相关工作表的名称。此时，你可以用 Python 中的“pandas”库来加载这些数据。import pandas as pd
df = pd.read_excel(“/home/Loan_Prediction/train.xlsx”,sheetname = “Invoice”)
上方的代码将会把来自“train.xlsx”文件的工作表“Invoice”加载进 DataFrame df 中。
3.3 ZIP 文件
ZIP 格式是一种归档文件格式。
什么是归档文件格式？
在归档文件格式中，你可以创建一个包含多个文件和元数据的文件。归档文件格式通常用于将多个数据文件放入一个文件中的过程。这么做是为了方便对这些文件进行压缩从而减少储存它们所需的存储空间。
有很多种常用的电脑数据归档格式可以创建归档文件。Zip、RAR 和 Tar 是最常用的3种用于压缩数据的归档文件格式。
因此，ZIP 文件格式是一种无损压缩格式，这意味着如果你用 ZIP 格式压缩了多个文件，那么在解压缩之后你能够完全恢复这些数据。ZIP 文件格式使用多种压缩算法来压缩文件。你可以通过 .zip 这个扩展名轻易地识别出一个 ZIP 文件。
在Python 中读取 .ZIP 文件
你可以通过导入“zipfile”包来读取 zip 文件。下方的代码可以实现读取“T.zip”中的“train.csv”文件。import zipfile
在这里我已经讨论了其中一种最常用的归档格式，也已经讨论了如何在 python 中打开这种归档格式。我不会再对其他的归档格式进行展开讨论。如果你想了解不同类型的归档格式并且想对其做出比较

⑷ Python如何从文件读取数据

1.1 读取整个文件

要读取文件，需要一个包含几行文本的文件（文件PI_DESC.txt与file_reader.py在同一目录下）

PI_DESC.txt

3.1415926535
8979323846
2643383279
5028841971

file_reader.py

with open("PI_DESC.txt") as file_object:
contents = file_object.read()
print(contents)

我们可以看出，读取文件时，并没有使用colse()方法，那么未妥善的关闭文件，会不会导致文件收到损坏呢？在这里是不会的，因为我们在open()方法前边引入了关键字with，该关键字的作用是：在不需要访问文件后将其关闭

1.2文件路径

程序在读取文本文件的时候，如果不给定路径，那么它会先在当前目录下进行检索，有时候我们需要读取其他文件夹中的路径，例如：

⑸ python如何读取文件的内容

# _*_ coding: utf-8 _*_

import pandas as pd

# 获取文件的内容

def get_contends(path):

with open(path) as file_object:

contends = file_object.read()

return contends

# 将一行内容变成数组

def get_contends_arr(contends):

contends_arr_new = []

contends_arr = str(contends).split(']')

for i in range(len(contends_arr)):

if (contends_arr[i].__contains__('[')):

index = contends_arr[i].rfind('[')

temp_str = contends_arr[i][index + 1:]

if temp_str.__contains__('"'):

contends_arr_new.append(temp_str.replace('"', ''))

# print(index)

# print(contends_arr[i])

return contends_arr_new

if __name__ == '__main__':

path = 'event.txt'

contends = get_contends(path)

contends_arr = get_contends_arr(contends)

contents = []

for content in contends_arr:

contents.append(content.split(','))

df = pd.DataFrame(contents, columns=['shelf_code', 'robotid', 'event', 'time'])

(5)python读取数据文件扩展阅读：

python控制语句茄团

1、if语句，当条件成立时运行语句块。经常与else, elif(相当于else if) 配合使用。

2、for语句，遍历列表、字符串、字典、集合等迭代器，依次处理迭代器中的每个元素。

3、while语句，当条件为真时，循环运行语句块。

4、try语句，与except,finally配合使用处理在程序运行中出现的异常情况。

5、class语句，用于定义顷纳拍类型。

6、def语句，用于定义函数和类型的方法。雀羡

⑹ 怎样用python，读取excel中的一列数据

用python读取excel中的一列数据步骤如下：

1、首先打开dos命令窗，安装必须的两个库，命令是：pip3 installxlrd；Pip3 install xlwt。