python写大文件

A. 怎么压缩用python写的游戏的文件大小或者用什么开发库

你可以尝试以下方法：

1. 建立虚拟环境，减少Python打包额外的第三方库

2. 使用upx和pyinstaller进行压缩

3. 使用upx和nuitka进行压缩

这几种方法网上可以找到很多教程，都能够在一定程度上减小打包出来的文件大小，但是因为Python的解释型语言，除了使用nuitka编译成exe以外，其它的压缩方法作用一般不大，但是使用nuitka编译后的文件也会有较大的体积。

B. Python 拿来直接用的7个os读写文件的操作！网友：建议收藏！

在学习真实案例之前，我们先来了解一下Python文件操作的一些基本概念~~

如何创建读取和写出的文件对象，open()方法来搞定

他有两个参数，第一个就是读取的文件名称，第二个是可选的，指的是打开文件的模式，默认是读取文件。

当我们获取到读取文件对象fin之后我们就可以读取文件内容了，这里介绍两种方式。

第一种是直接读取文件内容，

第二种是按行读取文件内容。

区别在于如果你的文件非常大，如果直接读取效率会非常低下，甚至会撑爆内存。

所以按行读取按行处理就不会因为文件过大而产生问题了

文件读取完成之后写出文件有如下方式：

'\n'的意思是我们手动换行

最后关闭文件有两种方式

为什么要关闭文件呢？

如果不关闭他就会持续打开状态，琐事其他进程后者线程要操作它的时候就会报错

我们有时候写入非常大的数据的时候打开文件后会发现数据不是最新的？

这是因为python在写出文件是先写到内存中，等到一定的事件之后或者文件到达一定的数量之后才会写入到磁盘

所以我们如果想要看最新的数据，可直接调用如下方法

接下来我们使用数据进行测试

1. 文件读操作

文件读、写操作比较常见。读取文件，要先判断文件是否存在。

若文件存在，再读取；不存在，抛出文件不存在异常。

文件存在情况：

文件不存在情况：

open 后，务必要 close，这种写法有些繁琐，还容易出错。借助 with 语法，同时实现 open 和 close 功能，这是更常用的方法。

2.获取文件的后缀名

如何优雅地获取文件后缀名？os.path 模块，splitext 能够优雅地提取文件后缀。

3. 批量修改文件后缀名

修改之前

修改文件后缀名的文件方法如下：

从修改之后：

4. 获取文件名

有时拿到一个文件名时，名字带有路径。这时，使用 os.path、split 方法实现路径和文件的分离。

我们还可以直接使用使用os.path 模块，splitext 提取文件后缀名。

5.获取以指定后缀结尾的文件

当我们想要查询某路径下所有以固定后缀结尾的文件时，可以使用如下方法

6. 批量修改文件后缀名

后缀名批量修改，实现思路：

1. 遍历目录下的所有文件

2. 获取文件的后缀名

3. 如果后缀名命中为 old_ext，rename 重命名

defbatch_rename(work_dir, old_ext, new_ext):

"""

传递当前目录，原来后缀名，新的后缀名后，批量重命名后缀

7. 批量获取文件修改时间

os.walk 生成文件树结构，os.path.getmtime 返回文件的最后一次修改时间：

C. 关于python里写文件的操作

1. fo.close()---你小括号没有。
   

2. fo = open("D:/text一.txt","w",encoding = 'utf-8')
   ls = ['13','14','15']
   fo.writelines(ls)
   fo.close()

3. 文件在d盘下面

4. 

D. python 读取大文件数据怎么快速读取

python中读取数据的时候有几种方法，无非是read，readline，readlings和xreadlines几种方法，在几种方法中，read和xreadlines可以作为迭代器使用，从而在读取大数据的时候比较有效果.

在测试中，先创建一个大文件，大概1GB左右，使用的程序如下：

[python] view plainprint?
import os.path
import time
while os.path.getsize('messages') <1000000000:
f = open('messages','a')
f.write('this is a file/n')
f.close()

print 'file create complted'

在这里使用循环判断文件的大小，如果大小在1GB左右，那么结束创建文件。--需要花费好几分钟的时间。

测试代码如下：

[python] view plainprint?
#22s
start_time = time.time()
f = open('messages','r')
for i in f:
end_time = time.time()
print end_time - start_time
break
f.close()

#22s
start_time = time.time()
f = open('messages','r')
for i in f.xreadlines():
end_time = time.time()
print end_time - start_time
break
f.close()

start_time = time.time()
f = open('messages','r')
k= f.readlines()
f.close()
end_time = time.time()
print end_time - start_time

使用迭代器的时候，两者的时间是差不多的，内存消耗也不是很多，使用的时间大概在22秒作用
在使用完全读取文件的时候，使用的时间在40s，并且内存消耗相当严重，大概使用了1G的内存。。

其实，在使用跌倒器的时候，如果进行连续操作，进行print或者其他的操作，内存消耗还是不可避免的，但是内存在那个时候是可以释放的，从而使用迭代器可以节省内存，主要是可以释放。
而在使用直接读取所有数据的时候，数据会保留在内存中，是无法释放这个内存的，从而内存卡死也是有可能的。

在使用的时候，最好是直接使用for i in f的方式来使用，在读取的时候，f本身就是一个迭代器，其实也就是f.read方法

E. Python文件读写

常见的读写操作：

Python内置了读写文件的函数，用法和C是兼容的。本节介绍内容大致有：文件的打开/关闭、文件对象、文件的读写等。仅示例介绍 TXT 类型文档的读写，也就是最基础的文件读写，也需要注意编码问题；

open()   close()     with open(...) as ...

看以下示例就能了解 Python 的 open() 及 close() 函数。这边调用 read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示，具体使用参见下文。

在 E 盘 python_file 文件夹下新建一 a.txt，输入随意，如下：

Python 操作 打开及关闭方式 如下：

注意 open() 之后 一定要 close()。但由于文件读写时都可能产生IOError，为了保证无论是否出错都能正确地关闭文件，我们用 try ... finally 来实现：

python 简化了改写法，即用 with open(...) as ...  ； 建议之后文件读写都用该写法：

上面，你肯定注意到了参数 "r"；该参数决定了打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。这个参数是非强制的，默认文件访问模式为只读(r)。

相关参数：

File 对象

file 为一对象，它有一些内置属性，如下

file对象的属性：

read()    read(size)   readline()   readlines()

之前的例子已经接触到了 read() 函数，该函数会会一次性读取文件的全部内容，如果能确保文件的大小，自然可以。但若文件过大，内存就爆了，所以，可以反复调用read(size)方法，每次最多读取size个字节的内容；也可调用 readline() 每次读取一行内容；而调用readlines()可以一次读取所有内容并按行返回list。总之，根据需求来。仅以 txt 文件为例，其他的文件读取需要特殊处理；另外，文件的格式编码方式也需要注意；这边仅介绍读取方法，其他的会出专题来学习。

在D:\python_file 下新建 poet.txt；示例如下，由于一个中文会占多个字节，故read(size) 部分会乱码，如：

write()

写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件；'a' 对应的表示追加等。

如下示例，由于 write.txt 文件不存在，创建该文件并写入：

在上例基础上，继续，该文件被重写：

继续，这次使用追加，会在文件结尾追加：

https://blog.csdn.net/msspark/article/details/86745391

https://www.cnblogs.com/tianyiliang/p/8192703.html

https://www.cnblogs.com/camilla/p/7234657.html

https://blog.csdn.net/songlh1234/article/details/83316468

https://www.php.cn/python-tutorials-412484.html

https://blog.csdn.net/weay/article/details/80946152

https://blog.csdn.net/xc_zhou/article/details/81044836

F. Python中的文件读写-理论知识

Python处理两种不同类型的文件：二进制文件和文本文件。了解两者之间的差异很重要，因为它们的处理方式不同。

二进制文件

在正常计算机使用期间使用的大多数文件实际上是二进制文件，而不是文本。比如：Microsoft Word .doc文件实际上是一个二进制文件，即使它只有文本。

二进制文件的其他示例包括：

图像文件，包括.jpg，.png，.bmp，.gif，等。

数据库文件包括.mdb，.frm和.sqlite

文件，包括.doc，.xls，.pdf或者其他文件。

那是因为这些文件都有特殊处理的要求，需要特定类型的软件来打开它。例如，您需要Excel来打开.xls文件，并使用数据库程序来打开.sqlite文件。

文本文件

一方面，没有特定的编码，可以通过没有任何特殊处理的标准文本编辑器打开。但是，每个文本文件都必须遵守一组规则：

文本文件必须是可读的。他们可以（并且经常会）包含许多特殊编码，尤其是在HTML或其他标记语言中，但您仍然可以说出它的含义

文本文件中的数据按行组织。在大多数情况下，每一行都是一个独特的元素，无论是指令行还是命令。

此外，文本文件在每行的末尾都有一个看不见的字符，这使文本编辑器知道应该有一个新行。通过编程与这些文件交互时，您可以利用该字符。在Python中，它用“ n” 表示。

在哪里可以找到Python的文件I / O工具

在Python中工作时，您不必担心导入任何特定的外部库来处理文件。Python附带有“文件库”，文件I / O工具和实用程序是核心语言的内置部分。

但是在其他语言（如C ++）中，要处理文件，您必须通过包含正确的头文件来启用文件I / O工具#include <fstream>。如果您使用java编写代码，则需要使用该import java.io.*语句。

使用Python，就没有必要这样做，这是因为Python有一组内置函数，可以处理读取和写入文件所需的所有内容。

G. Python 处理大文件并用pickle保存

1、当一个文件太大，例如余咐竖几个 G，电脑配置限制，无法一次性读入内存，可以分简森块读入。竖大例如：

2、读取之后使用pickle 模块进行持久化