python写文件编码

A. python解决csv文件用excel打开乱码问题

【问题】

python输出的csv文件用excel打开，里面的中文会变成乱码，但用window下的记事本或mac下的numbers打开就正常显示。

原因是python输出的文件是utf-8编码写入的，excel默认以gbk方式读取，导致乱码发生。

【解决方法1】文件产出时encoding设置为utf-8-sig    

用excel打开csv时，excel会先检查文件的第一个字符，来了解这个文件是什么编码方式，如果这个字符是BOM，excel就知道用utf-8的方式打开这个文件。python自带了处理BOM的编码方式uft-8-sig，因此只需要在文件产出时将encoding设置为utf-8-sig。

如果文件不是由python产出的，只需要以utf-8方式读入再以utf-8-sig方式存储即可

【解决方法2】懒人法，适用只含简体中文的文件

用记事本打开，点击另存为，右下角编码方式选择“ANSI”，这个过程是把这个文件改成gbk编码格式，excel就是默认用gbk方式打开的。

参考： Python写的csv文件，如何让 Excel 双击打开不乱码？ - 云+社区 - 腾讯云

对编码格式一窍不通的可以阅读以下网页

python笔记——二进制和文件编码_砍柴姑娘Jourosy的博客-CSDN博客

编码方式之ASCII、ANSI、Unicode概述 - 蓝海人 - 博客园

【简单总结】：

1. 首先需要了解 字符集 和 字符编码 两个概念，字符集定义了字符和二进制的一一对应关系，字符编码规定了如何将字符的编号存储到计算机中。

2. Unicode是字符集，包含了全球文字的唯一编码，utf-8是编码方式，将unicode以某种方式存储到计算机中。

3. 有些字符集和编码是结合在一起的，称作字符集还是编码都无所谓，比如ASCII，GBK

4. ANSI是各个国家地区不同扩展编码方式的总称，互不兼容（可以看出来通用性没有utf好）

5. 不同编码方式在转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

B. python怎么中文写txt文件

本文以txt 文本为例，只是介绍ANSI，Unicode，UTF-8 三种编码的文件的读写过程，对于编码不做深究了

一、用记事本另存为时，可以选择保存文本使用的的几种编码模式，分别为：

• ANSI：默认保存的编码格式，采用本地操作系统默认的内码，简体中文一般为GB2312。

• Unicode：UTF-16的小端字节序，加上BOM签名：0xFFFE。

• Unicode bigendian：Unicode编码：UTF-16的大端字节序，加上BOM签名：0xFEFF。

• UTF-8：编码格式是：UTF-8，其BOM为0xEF BB BF（UTF-8不区分字节序，这个BOM仅标志UTF-8编码）

Python对于读取的txt文件，最好在读取的时候进行decode成unicode编码，

• def read_out(self): with codecs.open(self.filename, 'r+') as get: return get.read().decode('gbk')




然后再写入的时候进行encode成对应想要的编码类型，这样可以保证源文件的编码方式不会改变，且中文不会乱码

整个代码过程保持使用unicode编码方式利用try…except 来进行编码判别具体使用了那种编码方式

• f.write(self.filename.encode('gbk'))



二、对于raw_input 通过键盘输入的文字，通过sys模块中的stdin.encodeing来进行解码

• content = raw_input().decode(sys.stdin.encoding)


• type(content) 是unicode

暂时这么多

C. python读写有中文的文件时，是否需要设置编码格式

需要：
with open("路径","模式",encoding="utf8") as f:

如果不确定编码格式，后面读取可能会出问题

D. python 写文件怎么写gbk编码的文件

open('文件名','wt',encoding='gbk')
用这样就可以了，加一个encoding参数就行了

E. python读写文件

读文件

    1）使用open()方法打开文件，返回一个文件对象

        原型：open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)

        举例：f = open('test.txt', 'r')

        test.txt表示文件路径(包含文件名，这个file参数可以是绝对或者相对路径)

        r表示是读文本文件，rb是读二进制文本文件。（这个mode参数默认值就是r）

    2）使用close()方法关闭文件

        f.close()

        打开后的文件必须关闭，因为文件对象会占用系统资源，系统打开文件数量也就有限了

    3）打开文件时的异常处理

        f=open('test.txt', 'r')

        f.read()

        f.close()

        FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'

        文件读写时都有可能产生异常IOError(比如文件不存在)，这样其后面的f.read()，f.close()就不会调用。为保证无论是否异常都可以关闭文件，一般使用try ... finally来处理：

        try:

            f = open('test.txt', 'r')

            f.read()

        finally:

            if f:

                f.close()

        但这种写法过于繁琐，所以Python引入了with语句来自动调用close()方法：

        with open('test.txt', 'r') as f:

            f.read()

    4）读文件 - read()、readline() 和 readlines()

        read() 一次读取整个文件，它通常用于将文件内容放到一个字符串变量中。如果文件过大，内存不够，可以通过反复调用read(size)方法，每次最多读取size个字节的内容。

        readline() 一次读取文件中一行内容，可反复调用

        readlines() 一次读取所有内容并按行返回列表，该列表可以由for ... in ... 结构再进一步处理。

        特别注意：

        这三种方法是把每行末尾的'\n'也读进来了，如有需要就得我们手动去掉'\n'

        with open('test.txt', 'r') as f:

            list = f.readlines()

        for i in range(0, len(list)):

            list[i] = list[i].rstrip('\n')

写文件

    1）写文件和读文件是一样的，唯一区别是open文件时，传入标识符不同，即'w'或者'wb'表示写文本文件或写二进制文件

    f = open('test.txt', 'w')

    f = open('test.txt', 'wb')

    f = open('test.txt', 'a')

    f.close()

    特别注意：

    1. 如果没有这个文件，会自动创建一个新文件；如果有，就会先把原文件的内容清空再写入；若不想清空原来的内容而是直接在后面追加新的内容，就用'a'这个模式

    2. 写文件，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。

    2）写文件 - write()、writelines()

    write()方法和read()、readline()方法对应，是将字符串写入到文件中。

    writelines()方法和readlines()方法对应，也是针对 列表 的操作。它接收一个 字符串行表 作为参数，将他们写入到文件中。

    特别注意：

    换行符不会自动的加入，需要显式的加入换行符。

    f = open('test.txt', 'w')

    f.writelines(["111\n", "222\n", "333\n"])

补充说明：

1）对于非默认编码(utf-8)的文件，需要open时添加encording参数，选择对应的编码方式

2）r+, w+, a+，可读可写

3）seek()方法，移动文件指针

seek(offset[, whence]) ，offset是相对于某个位置的偏移量。位置由whence决定，默认whence=0，从开头起；whence=1，从当前位置算起；whence=2相对于文件末尾移动，通常offset取负值。

F. Python 文件操作

open(filename[,mode,encoding="编码"]) ：第一个参数文件名如果不加路径，默认在该py文件目录下（路径举例： E:/XXX或E:\xxx ），第二个是模式，默认为 'r' ——只读，举例： f = open('E:/abc.txt') ，如果要转编码并写入模式：
f = open('E:/abc.txt','w',encoding='utf-8')
1. 模式

2. 方法
(1) close() : 关闭文件，因为文件写入时是写在内存，只有关闭时才写入硬盘，所以写完记得关闭
(2) read(size = -1) ：读取文件size个字符，不写默认是-1，此时读取所有内容（换行按 来表示，很不好看），并作为字符串返回，一定要注意 读完以后文件指针将会指向末尾 ，所以下一次在用read方法时会发现读取不出内容了，所以这个就要用seek移动指针或者关闭文件重新定义
(3) tell() ：返回当前文件指针指向的位置
(4) seek(offset,from) ：移动文件指针，代表从from参数开始偏移offset个字节，0代表起始位置，1代表当前位置，2代表文件末尾
(5) readline() ：按序列读取一行内容，默认 为边界
(6) write() ：写入内容，但必须要有写入权限才行，否则报错，写完会返回写入的长度，例如： len1 = f.write('abc') ，此时len1就为3
(7) truncate() ：删除内容，把当前指针以后的内容全删了，举例：

注：
1.文件还可以转化为 list 之类的，例如： list1 = list(f) ，此时文件内容的按 被隔开，然后可以用for语句读取文件所有内容，举例：

2.上面输出文件内容方法相对低效，所以一般都直接用for输出整个文件，举例：

通过 fileno 函数，我们可以查看一个文件对应的文件描述符，对应的是程序中打开的文件序号，举例：

可以看出python在启动时会先启动标准流的文件（文件描述符分别为：0/1/2），所以之后打开的文件就从3开始递增，当释放一个文件资源时，该描述符序号被释放，之后打开的文件可以继续使用该序号的文件描述符

python中的 print 的本质是通过 sys.stdout 来进行内容输出，而 sys.stdout 的本质是一个"文件"，相当于我们所有的输入输出的本质都是在对 sys.stdin / sys.stdout / sys.stderr 这些文件来进行读写操作，举例：

open 函数不仅可以打开本地文件，也可以打开文件描述符，而该参数默认为 True ，代表 close 后会将对应的文件资源释放，而对于一些文件描述符，我们只是希望 close 时将打开文件描述符的对象释放，而不释放对应的文件资源，那么则可以设置 closefd=False ，举例：

需要使用到 chardet 模块，按二进制可读打开文件，然后通过 detect() 方法查看，举例：

所以就可以根据文件来设置编码了：

有时候使用文件的编码解码也可能会出现无法解析的情况，例如两种编码混在同一个文件里的时候，此时可以设置 errors 参数为 ignore 来避免该问题，示例：

可用 os 模块下的 chmod() 函数，具体参考： http://www.runoob.com/python/os-chmod.html

使用 os 模块下的 remove() 函数可以实现删除文件，举例：

可以使用自带的 zipfile 模块来进行操作，举例：

可以使用自带的 tarfile 模块来进行操作，举例：

https://www.cnblogs.com/lotusto/p/5805543.html

G. 使用 Python 读写文件

有些数据是临时的，它们在应用程序运行时存储在内存中，然后丢弃。但是有些数据是持久的。它们存储在硬盘驱动器上供以后使用，而且它们通常是用户最关心的东西。对于程序员来说，编写代码读写文件是很常见的，但每种语言处理该任务的方式都不同。本文演示了如何使用 Python 处理文件数据。

在 Linux 上，你可能已经安装了 Python。如果没有，你可以通过发行版软件仓库安装它。例如，在 CentOS 或 RHEL 上：

在 macOS 上，你可以使用 MacPorts或Homebrew安装。在 Windows 上，你可以使用Chocolatey安装。

一旦安装了 Python，打开你最喜欢的文本编辑器，准备好写代码吧。

如果你需要向一个文件中写入数据，记住有三个步骤：

这与你在计算机上编码、编辑照片或执行其他操作时使用的步骤完全相同。首先，打开要编辑的文档，然后进行编辑，最后关闭文档。

在 Python 中，过程是这样的：

这个例子中，第一行以 写 模式打开了一个文件，然后用变量 f 表示，我使用了 f 是因为它在 Python 代码中很常见，使用其他任意有效变量名也能正常工作。

在打开文件时，有不同的模式：

第二行表示向文件中写入数据，本例写入的是纯文本，但你可以写入任意类型的数据。

最后一行关闭了文件。

对于快速的文件交互，常用有一种简短的方法可以写入数据。它不会使文件保持打开状态，所以你不必记得调用 close 函数。相反，它使用 with 语法：

如果你或你的用户需要通过应用程序需要向文件中写入一些数据，然后你需要使用它们，那么你就需要读取文件了。与写入类似，逻辑一样：

同样的，这个逻辑反映了你一开始使用计算机就已知的内容。阅读文档，你可以打开、阅读，然后关闭。在计算机术语中，“打开”文件意味着将其加载到内存中。

实际上，一个文本文件内容肯定不止一行。例如，你需要读取一个配置文件、 游戏 存档或乐队下一首歌曲的歌词，正如你打开一本实体书时，你不可能立刻读完整本书，代码也只能解析已经加载到内存中的文件。因此，你可能需要遍历文件的内容。

示例的第一行指明使用 读 模式打开一个文件，然后文件交由变量 f 表示，但就像你写数据一样，变量名是任意的。 f 并没有什么特殊的，它只是单词 “file” 的最简表示，所以 Python 程序员会经常使用它。

在第二行，我们使用了 line ，另一个任意变量名，用来表示 f 的每一行。这告诉 Python 逐行迭代文件的内容，并将每一行的内容打印到输出中（在本例中为终端或IDLE）。

就像写入一样，使用 with 语法是一种更简短的方法读取数据。即不需要调用 close 方法，方便地快速交互。

使用 Python 有很多方法向文件写入数据，包括用 JSON、YAML、TOML等不同的格式写入。还有一个非常好的内置方法用于创建和维护SQLite数据库，以及许多库来处理不同的文件格式，包括图像、音频和视频等。

via: https://opensource.com/article/21/7/read-write-files-python

作者：Seth Kenlon选题：lujun9972译者：MjSeven校对：turbokernel

H. python 文件的打开与读写

/python通过解释器内置的open()函数打开一个文件,并实现该文件与一个程序变量的关联,open()函数格式如下:

/open()函数包含有两个参数:文件名和打开模式.当文件与执行文件在同一文件夹中,直接输入文件名,亦可输入文件的完整路径.打开模式是指以何种方式打开文件,python提供了7种打开模式.

/r/w/x/a模式与b/t/+模式可以组合使用,比如'rt'为文本只读.'rb'为二级制只读.

/文件使用结束后,需要使用close()关闭文件使用权限,释放内存.

/当文件使用文本格式打开时,读写按照字符串方式,采用计算机当前编码或指定编码.
/当文件以二进制方式打开时,读写按照字节流方式.

/python本身将文件读取为一个行序列.

I. python写文件中文乱码

解决思路：

修改excel 打开csv 文件的编码（可能会影响其它文件的打开，不作为首选方式）
修改python 打开文件的编码 utf-8 -> utf-8-sig
修改前的编码
f=open(filename,'w',encoding='utf-8')
修改后的编码
f=open(filename,'w',encoding='utf-8-sig')

J. Python文件读写

常见的读写操作：

Python内置了读写文件的函数，用法和C是兼容的。本节介绍内容大致有：文件的打开/关闭、文件对象、文件的读写等。仅示例介绍 TXT 类型文档的读写，也就是最基础的文件读写，也需要注意编码问题；

open()   close()     with open(...) as ...

看以下示例就能了解 Python 的 open() 及 close() 函数。这边调用 read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示，具体使用参见下文。

在 E 盘 python_file 文件夹下新建一 a.txt，输入随意，如下：

Python 操作 打开及关闭方式 如下：

注意 open() 之后 一定要 close()。但由于文件读写时都可能产生IOError，为了保证无论是否出错都能正确地关闭文件，我们用 try ... finally 来实现：

python 简化了改写法，即用 with open(...) as ...  ； 建议之后文件读写都用该写法：

上面，你肯定注意到了参数 "r"；该参数决定了打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。这个参数是非强制的，默认文件访问模式为只读(r)。

相关参数：

File 对象

file 为一对象，它有一些内置属性，如下

file对象的属性：

read()    read(size)   readline()   readlines()

之前的例子已经接触到了 read() 函数，该函数会会一次性读取文件的全部内容，如果能确保文件的大小，自然可以。但若文件过大，内存就爆了，所以，可以反复调用read(size)方法，每次最多读取size个字节的内容；也可调用 readline() 每次读取一行内容；而调用readlines()可以一次读取所有内容并按行返回list。总之，根据需求来。仅以 txt 文件为例，其他的文件读取需要特殊处理；另外，文件的格式编码方式也需要注意；这边仅介绍读取方法，其他的会出专题来学习。

在D:\python_file 下新建 poet.txt；示例如下，由于一个中文会占多个字节，故read(size) 部分会乱码，如：

write()

写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件；'a' 对应的表示追加等。

如下示例，由于 write.txt 文件不存在，创建该文件并写入：

在上例基础上，继续，该文件被重写：

继续，这次使用追加，会在文件结尾追加：

https://blog.csdn.net/msspark/article/details/86745391

https://www.cnblogs.com/tianyiliang/p/8192703.html

https://www.cnblogs.com/camilla/p/7234657.html

https://blog.csdn.net/songlh1234/article/details/83316468

https://www.php.cn/python-tutorials-412484.html

https://blog.csdn.net/weay/article/details/80946152

https://blog.csdn.net/xc_zhou/article/details/81044836