python获得文件编码

1. python 如何获取本地电脑某一文件夹下所有文件的编码格式encoding，并将结果导出

一个文件的编码格式并不是程序能检测出来的
而是我们预先知道存文件的时候用了什么编码，读文件的时候就要用相应的编码

2. Python：查看文件的编码格式-chardet

其中， encoding 为检测出的编码， confidence 为可信度， language 是语言液裂。
另外一个例子：

检测的编码是GB2312，闹祥闭注意到GBK是GB2312的超集，两者是同一种编码，检测正确的宴塌概率是74%，language字段指出的语言是'Chinese'。

注意：chardet支持检测的编码列表请参考官方文档 Supported encodings 。

3. Python 读写文件的编码与解码问题

演示文件为docx文档，内容如下：

源码

运行源码查看报错信息
UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 15: illegal multibyte sequence

上述错误是一种很常见的解码错误，下面介绍该错误的解决方法

把utf-8，gbk等各种编码方式都试了一遍，还是没有解决问题然后仔细看报错信息，根据UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfb in position 14: invalid start byte，猜测文件中某个字节不能解码，打开文件一看，并没有看出什么问题来

open() 函数的第三个参数不是用来野唯接收编码方式的，而磨脊信是传入一个buffering的值，此处传入了'gbk'字符串，所以系统提示传一个瞎轮整型

通过调用office的API进行操作，因为在office上能完成的操作，都能通过win32完成，所以我们选择使用win32
（Python3.5 需要安装 win32compat，里面含了 win32 的很多包）

4. 9. 字符编码与Python之文件操作

注意: t和b不能单独使用，必须跟r/w/a连用

补充: 如果文件中有特殊字符, 比如换行, 那么r模式也会读取并返回

补充1: w模式, 在没有关闭文件的情况下, 连续写入数据, 新数据会接着上一次文件指针的位置, 接着写入, 并不会清空源文件

补充2: w模式陵返中, 每次关闭文件后, 连续写入, 那么每次都会把文件先清空, 文件指针回到文件开头, 然后写入数据, 因此, 对于重要的文件, 千万不要用w模式打开写入

-只追加写, 不能读

补充: w和a模式的使用场景

注意: r+模式下, 如果源文件非空, 那么使用write()写数据时, 会从文件开始位置依次覆盖, 因为r模式打开文件时, 会把文件指针移动到文件最开始

注意: w+虽然可以读文件了, 但是只要打开文件, 内容就会被清空.

w+和a+的特性:

a模式打开文件, 文件指针是在文尺山件末尾的, 读不出来内容, w模式打开世轿文件会清空, 所以也读不出来内容

总结

准备文件

补充:

准备文件

准备文件

5. python文件编码问题

还真有些弄不明白。不过我就明白的给你说。

1. 不要用记事本，另存改变编码，除非你目标编码是ANSI
   

2. 只要是文字都是字符编码，不可能是内存中的编码格式。WINDOWS使用MBCK（类似这个名子）的内部编码。就是多字节编码的方式存在内存里。但是存在文件里一定是字符串，一定是正式的国际编码。

3. ANSI是操作系统内的标准编码。对于通常来说就是GB18030

4. unicode有很多编码方式。包括utf-8,utf-16, big-5, gbk, gb18030等。所以这里微软说的unicode估计是给微软程序做序列化用的格式
   

5. unicode big endian同上。这个编码应该是一个长字节编码用的。

顺便说一下，微软记事本的UTF－8编码文件有问题，前面有1－2个字节的识别用字符。如果你用python或者是其它操作系统读取文件，可能会出问题。

6. 如何设置python的编码格式为utf-8

python的编码格式？
#coding=utf-8
这是文档编码
import sys
sys.setdefaultencoding("utf-8")
这是设置默认编码方式为utf-8
xx.encode("utf-8")
这是字符串编码操作
import codecs
codecs.open(xx,'r','utf-8")，这是文件编码读取方式

7. python打开xls文件用什么编码

html形式。python打开xls文如咐件用html形式编码，Python是一种解释型、面向对象、动态数据类型带信的高级程序设计语言，其主要用于开渣行纯发Web网站、桌面界面开发、网络爬虫、人工智能、自动化运维、数据分析、机器学习等。

8. python3读文件编码错误怎么办

在python3中系统默认编码是unicode,读取文件经常会编码错误导致报错。

1. 首先先确认要读取文件的编码，可这样操作：

记事本打开文本文件，点击“文件”-“另存为”查看编码:

importcodecs
f=codecs.open(r"test.txt","r","gbk")
print(f.read())
f.close()

（示例的文件是ANSI所以使用GBK读取）

以上就可以正确读取想要的文件了

9. python 读取文件时能指定编码吗

代码如下:

import os
import codecs
filenames=os.listdir(os.getcwd())
out=file("name.txt","w")
for filename in filenames:
out.write(filename.decode("gb2312").encode("utf-8"))
out.close()

将执行文件的当前目录及文件名写入到name.txt文件中，以utf-8格式保存
如果采用ANSI编码保存，用如下代码写入即可：

复制代码代码如下:

out.write(filename)

打开文件并写入
引用codecs模块，对该模块目前不了解。在此记录下方法，有空掌握该模块功能及用法。

复制代码代码如下:

import codecs
file=codecs.open("lol.txt","w","utf-8")
file.write(u"我")
file.close()

读取ANSI编码的文本文件和utf-8编码的文件
读取ANSI编码文件
建立一个文件test.txt，文件格式用ANSI，内容为:

复制代码代码如下:

abc中文

用python来读取

复制代码代码如下:

# coding=gbk
print open("Test.txt").read()

结果：abc中文
读取utf-8编码文件（无BOM）
把文件格式改成UTF-8：

复制代码代码如下:

结果：abc涓 枃

显然，这里需要解码：

复制代码代码如下:

# -*- coding: utf-8 -*-
import codecs
print open("Test.txt").read().decode("utf-8")

结果：abc中文
读取utf-8编码文件（有BOM）
某些软件在保存一个以UTF-8编码的文件时，默认会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。在有些软件可以控制是否插入BOM。如果在有BOM的情况下，在读取时需要自己去掉这些字符，python中的codecs mole定义了这个常量：

复制代码代码如下:

# -*- coding: utf-8 -*-
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")

结果：abc中文
在看下面的例子：

复制代码代码如下:

# -*- coding: utf-8 -*-
data = open("name_utf8.txt").read()
u=data.decode("utf-8")
print u[1:]

打开utf-8格式的文件并读取utf-8字符串后，解码变成unicode对象。但是会把附加的三个字符同样进行转换，变成一个unicode字符。该字符不能被打印。所以为了正常显示，采用u[1:]的方式，过滤到第一个字符。
注意：在处理unicode中文字符串的时候，必须首先对它调用encode函数，转换成其它编码输出。
设置python默认编码
复制代码代码如下:

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print sys.getdefaultencoding()

今天碰到了 python 编码问题, 报错信息如下

复制代码代码如下:

Traceback (most recent call last):
File "ntpath.pyc", line 108, in join
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为:
在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码，因为python在启动的时候会调用site.py文件，在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了. 在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding('utf8')
复制代码代码如下:

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print sys.getdefaultencoding()

确实有效, 根据 limodou 讲解, site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.
上面写的挺啰嗦的.
==================================
如何永久地将默认编码设置为utf-8呢? 有2种方法:
==================================
第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8
第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下
sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

复制代码代码如下:

import sys
sys.setdefaultencoding('utf-8')

既然 sitecustomize.py 能被自动加载, 所以除了设置编码外, 也可以设置一些其他的东西
字符串的编码

复制代码代码如下:

s1='中文'

像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果是unicode编码，有以下三种方式：

复制代码代码如下:

1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一个内置函数，第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。
encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。

10. Python怎么获取HDFS文件的编码格式

你好，你可以利用python3的python3-magic来获得文卖漏举件的编码格式。下面是对中碧应的代码搜陪
import magic

blob = open('unknown-file').read()

m = magic.open(magic.MAGIC_MIME_ENCODING)

m.load()

encoding = m.buffer(blob) # "utf-8" "us-ascii" etc