python读取unicode文件

A. 文件里写的是unicode，用python怎么读取成文本

先读到内存，然后根据脚本当前编码decode，然后再encode成你想要的编码
eg：
#假设readString是你读出来的字符串，你想转成gb2312

# -*- coding: utf-8 -*-

readString.decode('utf-8').encode('gb2312') #当前脚本编码为utf-8

B. python unicode编码

python unicode编码：

下面的代码创建了一个Unicode字符串，用UTF-8编码器将它编码，然后写入到一个文件中去，接着把数据从文件中读回来，解码成Unicode字符串对象，最后，打印出Unicode字符串，用以确认程序正确地运行。

在Linux中编写，在VIM中输入如下代码，保存为uniFile.py

#/home/xiaopeng/python/code/uniFile.py
'''
:Writes
aUnicodestringtoafileinutf-8andreadsitbackin
'''
CODEC='utf-8'编码方式
FILE='unicode.txt'要存的文件名
hello_out=u"Helloworld
"创建了一个Unicode格式的字符串
bytes_out=hello_out.encode(CODEC)用UTF-8编码
f=open(FILE,'w')
f.write(bytes_out)写入指定文件中
f.close()
f=open(FILE,'r')
bytes_in=f.read()读取
f.close()
hello_in=bytes_in.decode(CODEC)解码
printhello_in打印

在终端中输入：python uniFile.py

结果打印出 Hello world

然后在python目录下会发现多了一个名为unicode.txt的文件，用cat命令查看一下，发现里面的内容和打印的结果一样.

把Unicode应用到实际中注意一下四点：

1程序中出现字符串时一定要加一个前缀u

2不要用str()函数，用Unicode()代替

3 不要用过时的string模块。如果传给它非ASCII码，它会把一切搞砸。

4 不到必须时不要在你的程序里编解码Unicode字符，只在你要写入文件或者数据库或者网络时，才调用encode()函数和decode()函数。

C. 文件里写的是unicode，用python怎么读取成文本

# raw_text should be instance of String in Py2, or Bytes in Py3.
raw_text.decode('unicode_escape')

D. 文件里写的是unicode，用python怎么读取成文本

可以想办法将unicode代码转换成ansi代码，不过会有很多显示不出来且非常麻烦程序也难写。最简单的方法是调用一些API来转换

E. python 读取文件时能指定编码吗

代码如下:

import os
import codecs
filenames=os.listdir(os.getcwd())
out=file("name.txt","w")
for filename in filenames:
out.write(filename.decode("gb2312").encode("utf-8"))
out.close()

将执行文件的当前目录及文件名写入到name.txt文件中，以utf-8格式保存
如果采用ANSI编码保存，用如下代码写入即可：

复制代码代码如下:

out.write(filename)

打开文件并写入
引用codecs模块，对该模块目前不了解。在此记录下方法，有空掌握该模块功能及用法。

复制代码代码如下:

import codecs
file=codecs.open("lol.txt","w","utf-8")
file.write(u"我")
file.close()

读取ANSI编码的文本文件和utf-8编码的文件
读取ANSI编码文件
建立一个文件test.txt，文件格式用ANSI，内容为:

复制代码代码如下:

abc中文

用python来读取

复制代码代码如下:

# coding=gbk
print open("Test.txt").read()

结果：abc中文
读取utf-8编码文件（无BOM）
把文件格式改成UTF-8：

复制代码代码如下:

结果：abc涓 枃

显然，这里需要解码：

复制代码代码如下:

# -*- coding: utf-8 -*-
import codecs
print open("Test.txt").read().decode("utf-8")

结果：abc中文
读取utf-8编码文件（有BOM）
某些软件在保存一个以UTF-8编码的文件时，默认会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。在有些软件可以控制是否插入BOM。如果在有BOM的情况下，在读取时需要自己去掉这些字符，python中的codecs mole定义了这个常量：

复制代码代码如下:

# -*- coding: utf-8 -*-
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")

结果：abc中文
在看下面的例子：

复制代码代码如下:

# -*- coding: utf-8 -*-
data = open("name_utf8.txt").read()
u=data.decode("utf-8")
print u[1:]

打开utf-8格式的文件并读取utf-8字符串后，解码变成unicode对象。但是会把附加的三个字符同样进行转换，变成一个unicode字符。该字符不能被打印。所以为了正常显示，采用u[1:]的方式，过滤到第一个字符。
注意：在处理unicode中文字符串的时候，必须首先对它调用encode函数，转换成其它编码输出。
设置python默认编码
复制代码代码如下:

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print sys.getdefaultencoding()

今天碰到了 python 编码问题, 报错信息如下

复制代码代码如下:

Traceback (most recent call last):
File "ntpath.pyc", line 108, in join
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为:
在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码，因为python在启动的时候会调用site.py文件，在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了. 在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding('utf8')
复制代码代码如下:

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print sys.getdefaultencoding()

确实有效, 根据 limodou 讲解, site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.
上面写的挺啰嗦的.
==================================
如何永久地将默认编码设置为utf-8呢? 有2种方法:
==================================
第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8
第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下
sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

复制代码代码如下:

import sys
sys.setdefaultencoding('utf-8')

既然 sitecustomize.py 能被自动加载, 所以除了设置编码外, 也可以设置一些其他的东西
字符串的编码

复制代码代码如下:

s1='中文'

像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果是unicode编码，有以下三种方式：

复制代码代码如下:

1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一个内置函数，第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。
encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。

F. python3读取unicode文件名的问题

python3默认就是unicode存储。如果是从文件读取的，在open的参数中指定encoding关键字参数就行

G. python怎么读取文件名中包含特殊字符的文件 比如xiân.txt

1. 我都没用过listdit。
   

2. 但是，去找了下其使用说明：

3. os.listdir(path)
   .Thelistisinarbitraryorder.Itdoesnotincludethespecial
   entries'.'and'..'eveniftheyarepresentinthe
   directory.
   Availability:Unix,Windows.
   Changedinversion2.3:OnWindowsNT/2k/XPandUnix,ifpathisaUnicodeobject,theresultwillbe
   alistofUnicodeobjects.
   stringobjects.

   所以：

4. 你可以试试，传入路径是unicode，比如：

5. foundDirList=os.listdir(u"在这里输入你的")

   然后，输出的list中的文件名列表，就都是unicode了，就可以正常显示出你要的，包括特殊字符的文件名了。

6. 然后你就可以正常的打开了。

7. 当然，后续处理文件时，如果是中文等非ASCII的话，也是要了解涉及到字符编码的。这时候，最好用codecs模块。如何使用，参见：

8. 【教程】用Python的codecs处理各种字符编码的字符串和文件

   这里不能贴地址，google搜标题即可找到帖子。

H. python3读文件编码错误怎么办

在python3中系统默认编码是unicode,读取文件经常会编码错误导致报错。

1. 首先先确认要读取文件的编码，可这样操作：

记事本打开文本文件，点击“文件”-“另存为”查看编码:

importcodecs
f=codecs.open(r"test.txt","r","gbk")
print(f.read())
f.close()

（示例的文件是ANSI所以使用GBK读取）

以上就可以正确读取想要的文件了

I. Python对文件的读取问题

Python编程对文件的读取和写入操作还是很方便的，下面对文件操作的一个简单程序（test.py），代码如下：

defprocessFile(inputFile,outputFile):#定义一个函数
fin=open(inputFile,'r')#以读的方式打开文件
fout=open(outputFile,'w')#以写得方式打开文件
foreachLineinfin:#读取文件的每一行
line=eachLine.strip().decode('utf-8','ignore')#去除每行的首位空格，并且将文件编码转换成Unicode编码
outStr=line#我没对读入的文本进行处理，只是直接将其输出到文件
fout.write(outStr.strip().encode('utf-8')+'
')#去除首位的空格，并转回到utf-8编码，然后输出
fin.close()#关闭文件
fout.close()

processFile('myinputFile.txt','myoutputFile.txt')#调用该函数对文件进行处理

按照上面的程序写完之后，输入：python test.py 就能执行该程序了。