python迭代读取文件

1. 使用 python 读写文件

有些数据是临时的，它们在应用程序运行时存储在内存中，然后丢弃。但是有些数据是持久的。它们存储在硬盘驱动器上供以后使用，而且它们通常是用户最关心的东西。对于程序员来说，编写代码读写文件是很常见的，但每种语言处理该任务的方式都不同。本文演示了如何使用 Python 处理文件数据。

在 Linux 上，你可能已经安装了 Python。如果没有，你可以通过发行版软件仓库安装它。例如，在 CentOS 或 RHEL 上：

在 macOS 上，你可以使用 MacPorts或Homebrew安装。在 Windows 上，你可以使用Chocolatey安装。

一旦安装了 Python，打开你最喜欢的文本编辑器，准备好写代码吧。

如果你需要向一个文件中写入数据，记住有三个步骤：

这与你在计算机上编码、编辑照片或执行其他操作时使用的步骤完全相同。首先，打开要编辑的文档，然后进行编辑，最后关闭文档。

在 Python 中，过程是这样的：

这个例子中，第一行以 写 模式打开了一个文件，然后用变量 f 表示，我使用了 f 是因为它在 Python 代码中很常见，使用其他任意有效变量名也能正常工作。

在打开文件时，有不同的模式：

第二行表示向文件中写入数据，本例写入的是纯文本，但你可以写入任意类型的数据。

最后一行关闭了文件。

对于快速的文件交互，常用有一种简短的方法可以写入数据。它不会使文件保持打开状态，所以你不必记得调用 close 函数。相反，它使用 with 语法：

如果你或你的用户需要通过应用程序需要向文件中写入一些数据，然后你需要使用它们，那么你就需要读取文件了。与写入类似，逻辑一样：

同样的，这个逻辑反映了你一开始使用计算机就已知的内容。阅读文档，你可以打开、阅读，然后关闭。在计算机术语中，“打开”文件意味着将其加载到内存中。

实际上，一个文本文件内容肯定不止一行。例如，你需要读取一个配置文件、 游戏 存档或乐队下一首歌曲的歌词，正如你打开一本实体书时，你不可能立刻读完整本书，代码也只能解析已经加载到内存中的文件。因此，你可能需要遍历文件的内容。

示例的第一行指明使用 读 模式打开一个文件，然后文件交由变量 f 表示，但就像你写数据一样，变量名是任意的。 f 并没有什么特殊的，它只是单词 “file” 的最简表示，所以 Python 程序员会经常使用它。

在第二行，我们使用了 line ，另一个任意变量名，用来表示 f 的每一行。这告诉 Python 逐行迭代文件的内容，并将每一行的内容打印到输出中（在本例中为终端或IDLE）。

就像写入一样，使用 with 语法是一种更简短的方法读取数据。即不需要调用 close 方法，方便地快速交互。

使用 Python 有很多方法向文件写入数据，包括用 JSON、YAML、TOML等不同的格式写入。还有一个非常好的内置方法用于创建和维护SQLite数据库，以及许多库来处理不同的文件格式，包括图像、音频和视频等。

via: https://opensource.com/article/21/7/read-write-files-python

作者：Seth Kenlon选题：lujun9972译者：MjSeven校对：turbokernel

2. python文件有哪些操作

使用文件：

• 文件迭代器是最好的读取行工具，文件也有个迭代器会自动在for循环，列表解析或者其他迭代语句中对文件进行逐行读取。

• 读取内容是字符串，而不是对象，文件读取的数据回到脚本时是一个字符串

• close是通常选项，文件上下文管理器是一种替代方法。但close()是一个好习惯。

其他文件工具

open函数及其返回的文件对象是python脚本中通向外部文件的主要接口，但还有其他的类似工具：

• 标准流，在sys模块中预先打开的文件对象

• os模块中的描述文件

• sockets、pipes和FIFO文件，文件类对象同步进程、网络通信

• 通过键来存取的文件，通过键直接存储的不变的python对象

• Shell命令流，os.popen、subprocess.Popen这样的工具

• 第三方开源的文件类工具等

3. Python按行读取文件的简单实现方法

Python按行读取文件的简单实现方法
下面小编就为大家带来一篇Python按行读取文件的简单实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。
1：readline()
file = open("sample.txt")
while 1:
line = file.readline()
if not line:
break
pass # do something
file.close()
一行一行得从文件读数据，显然比较慢；
不过很省内存；
测试读10M的sample.txt文件，每秒大约读32000行；
2：fileinput
import fileinput
for line in fileinput.input("sample.txt"):
pass
写法简单一些，不过测试以后发现每秒只能读13000行数据，效率比上一种方法慢了两倍多；
3：readlines()

file = open("sample.txt")
while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something
file.close()
用同样的数据测试，它每秒可以读96900行数据！效率是第一种方法的3倍，第二种方法的7倍！
4：文件迭代器
每次只读取和显示一行，读取大文件时应该这样：
file = open("sample.txt")
for line in file:
pass # do something
file.close()
以上就是小编为大家带来的Python按行读取文件的简单实现方法全部内容了

4. python 读取大文件数据怎么快速读取

python中读取数据的时候有几种方法，无非是read，readline，readlings和xreadlines几种方法，在几种方法中，read和xreadlines可以作为迭代器使用，从而在读取大数据的时候比较有效果.

在测试中，先创建一个大文件，大概1GB左右，使用的程序如下：

[python] view plainprint?
import os.path
import time
while os.path.getsize('messages') <1000000000:
f = open('messages','a')
f.write('this is a file/n')
f.close()

print 'file create complted'

在这里使用循环判断文件的大小，如果大小在1GB左右，那么结束创建文件。--需要花费好几分钟的时间。

测试代码如下：

[python] view plainprint?
#22s
start_time = time.time()
f = open('messages','r')
for i in f:
end_time = time.time()
print end_time - start_time
break
f.close()

#22s
start_time = time.time()
f = open('messages','r')
for i in f.xreadlines():
end_time = time.time()
print end_time - start_time
break
f.close()

start_time = time.time()
f = open('messages','r')
k= f.readlines()
f.close()
end_time = time.time()
print end_time - start_time

使用迭代器的时候，两者的时间是差不多的，内存消耗也不是很多，使用的时间大概在22秒作用
在使用完全读取文件的时候，使用的时间在40s，并且内存消耗相当严重，大概使用了1G的内存。。

其实，在使用跌倒器的时候，如果进行连续操作，进行print或者其他的操作，内存消耗还是不可避免的，但是内存在那个时候是可以释放的，从而使用迭代器可以节省内存，主要是可以释放。
而在使用直接读取所有数据的时候，数据会保留在内存中，是无法释放这个内存的，从而内存卡死也是有可能的。

在使用的时候，最好是直接使用for i in f的方式来使用，在读取的时候，f本身就是一个迭代器，其实也就是f.read方法

5. Python在读取文件时用的迭代器和readline有何区别

我想使用迭代器和readline的区别大概在于“读到文件末尾的时候，是否会抛出异常（是否用到了__next__方法），以及读取内容方式的差异”

每次调用readline，会前进到下一行进行读取，至文件末尾时返回空字符串，并不会抛出异常。而使用迭代器读至文件末尾时会抛出StopInteration异常

python有个迭代协议：含有__next__()方法的对象会反复调用该方法来返回数据流中的后继项，当没有可用数据时，产生一个StopInteration异常
迭代器是遵循迭代协议的物件。所有迭代工具内部在每次迭代时都会调用__next__()，并且捕捉StopIteration异常来确定何时离开。

for循环会将文件内容预加载到内存中，生成字符串行表。所以用这样的方式去读取文本文件，运行最快，写法也很简单。

而readline的优势在于，当我们只需要读取某行时，可以在readline的size参数里直接指定，并不需要加载整个文件，当然readline还有其他方便的内置函数，文档上都有一一列出

6. python 循环读一个文件

Python按行读文件
1. 最基本的读文件方法：

# File: readline-example-1.py

file = open("sample.txt")

while 1:
line = file.readline()
if not line:
break
pass # do something

一行一行得从文件读数据，显然比较慢；不过很省内存。
在我的机器上读10M的sample.txt文件，每秒大约读32000行
2. 用fileinput模块

# File: readline-example-2.py

import fileinput

for line in fileinput.input("sample.txt"):
pass

写法简单一些，不过测试以后发现每秒只能读13000行数据，效率比上一种方法慢了两倍多……
3. 带缓存的文件读取

# File: readline-example-3.py

file = open("sample.txt")

while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something

这个方法真的更好吗？事实证明，用同样的数据测试，它每秒可以读96900行数据！效率是第一种方法的3倍，第二种方法的7倍！
————————————————————————————————————————————————————————————
在Python 2.2以后，我们可以直接对一个file对象使用for循环读每行数据：

# File: readline-example-5.py

file = open("sample.txt")

for line in file:
pass # do something

而在Python 2.1里，你只能用xreadlines迭代器来实现：

# File: readline-example-4.py

file = open("sample.txt")

for line in file.xreadlines():
pass # do something

7. python怎么读取迭代对象

def autoid(n_max=1000):
....i = 1
....while i<n_max:
........yield i
........i += 1

方法一：用for 迭代每个值
for n in autoid():
....print(n)
方法二：使next（）逐个读出
id = autoid()
print(next(id))
print(next(id))

8. python如何读取文件的内容

# _*_ coding: utf-8 _*_

import pandas as pd

# 获取文件的内容

def get_contends(path):

with open(path) as file_object:

contends = file_object.read()

return contends

# 将一行内容变成数组

def get_contends_arr(contends):

contends_arr_new = []

contends_arr = str(contends).split(']')

for i in range(len(contends_arr)):

if (contends_arr[i].__contains__('[')):

index = contends_arr[i].rfind('[')

temp_str = contends_arr[i][index + 1:]

if temp_str.__contains__('"'):

contends_arr_new.append(temp_str.replace('"', ''))

# print(index)

# print(contends_arr[i])

return contends_arr_new

if __name__ == '__main__':

path = 'event.txt'

contends = get_contends(path)

contends_arr = get_contends_arr(contends)

contents = []

for content in contends_arr:

contents.append(content.split(','))

df = pd.DataFrame(contents, columns=['shelf_code', 'robotid', 'event', 'time'])

(8)python迭代读取文件扩展阅读：

python控制语句

1、if语句，当条件成立时运行语句块。经常与else, elif(相当于else if) 配合使用。

2、for语句，遍历列表、字符串、字典、集合等迭代器，依次处理迭代器中的每个元素。

3、while语句，当条件为真时，循环运行语句块。

4、try语句，与except,finally配合使用处理在程序运行中出现的异常情况。

5、class语句，用于定义类型。

6、def语句，用于定义函数和类型的方法。

9. Python csv模块（读写文件）

CSV文件又称为逗号分隔值文件，是一种通用的、相对简单的文件格式，用以存储表格数据，包括数字或者字符。CSV是电子表格和数据库中最常见的输入、输出文件格式。

通过爬虫将数据抓取的下来，然后把数据保存在文件，或者数据库中，这个过程称为数据的持久化存储。本节介绍Python内置模块CSV的读写操作。

1)csv.writer()

csv模块中的writer类可用于读写序列化的数据，其语法格式如下：

参数说明：

csvfile：必须是支持迭代(Iterator)的对象，可以是文件(file)对象或者列表(list)对象。

dialect：编码风格，默认为excel的风格，也就是使用逗号,分隔。

fmtparam：格式化参数，用来覆盖之前dialect对象指定的编码风格。

如果想同时写入多行数据，需要使用writerrows()方法，代码如下所示：

aggs.csv文件内容：

2)csv.DictWriter()

当然也可使用DictWriter类以字典的形式读写数据，使用示例如下：

name.csv文件内容，如下所示：

1)csv,reader()

csv模块中的reader类和DictReader类用于读取文件中的数据，其中reader()语法格式如下：

2)csv.DictReader()

应用示例如下：

输出结果：

开课吧广场-人才学习交流平台

10. python读取文件问题,基础问题

如果注意了参数细节，应该完全一样。注意编码和换行符。
用for的第二种是使用文件对象的可迭代iterable特性..迭代不需要一次全部读出所有行，可以用于异步操作