python的unicode编码大全

Ⅰ python3 pickle中怎么使用unicode编码

Python特有编码
Python还内置一些特有的编码集。
4.2.4.1 文本编码
Python提供了下面从字符串到字节数组的编码，以及字节数据到字符串的解码：

Codec

Aliases

Purpose

idna

Implements RFC 3490, see also encodings.idna. Only errors='strict' is supported.

mbcs

dbcs

Windows only: Encode operand according to the ANSI codepage (CP_ACP)

palmos

Encoding of PalmOS 3.5

punycode

Implements RFC 3492. Stateful codecs are not supported.

raw_unicode_escape

Latin-1 encoding with \uXXXX and \UXXXXXXXX for other code points. Existing backslashes are not escaped in any way. It is used in the Python pickle protocol.

undefined

Raise an exception for all conversions, even empty strings. The error handler is ignored.

unicode_escape

Encoding suitable as the contents of a Unicode literal in ASCII-encoded Python source code, except that quotes are not escaped. Decodes from Latin-1 source code. Beware that Python source code actually uses UTF-8 by default.

unicode_internal

Return the internal representation of the operand. Stateful codecs are not supported.
Deprecated since version 3.3: This representation is obsoleted by PEP 393

4.2.4.2 二进制编码转换
Python提供下面的二进制编码转换：字节对象到字节对象映射转换，不支持使用bytes.decode()。

Codec

Aliases

Purpose

Encoder / decoder

base64_codec [1]

base64, base_64

Convert operand to MIME base64 (the result always includes a trailing '\n')
Changed in version 3.4: accepts any bytes-like object as input for encoding and decoding

base64.b64encode() / base64.b64decode()

bz2_codec

bz2

Compress the operand using bz2

bz2.compress() / bz2.decompress()

hex_codec

hex

Convert operand to hexadecimal representation, with two digits per byte

base64.b16encode() / base64.b16decode()

quopri_codec

quopri, quotedprintable, quoted_printable

Convert operand to MIME quoted printable

quopri.encodestring() / quopri.decodestring()

uu_codec

uu

Convert the operand using uuencode

uu.encode() / uu.decode()

zlib_codec

zip, zlib

Compress the operand using gzip

zlib.compress() / zlib.decompress()

4.2.4.3 文本编码转换

下面编解码器支持字符串到字符串的转换：

Codec

Aliases

Purpose

rot_13

rot13

Returns the Caesar-cypher encryption of the operand

4.2.5 encodings.idna--国际化域名的应用
本模块实现了RFC 3490(Internationalized Domain Names in Applications)和RFC 3492(Nameprep: A Stringprep Profile for Internationalized Domain Names (IDN) 的功能。它实现的功能建立在punycode编码和stringprep模块之上。
这两个RFC定义了非ASCII字符表示域名的规范。如果一个域名含有非ASCII字符，需要把它转换为ASCII兼容编码的域名（ACE），因为有一些网络协议不支持非ASCII字符的域名，比如DNS查询、HTTP主机等等。因此这些转换工作可以人工转换，也可以是程序转换。在程序里转换，需要把UNICODE的域名转换为ACE兼容的域名之后，才能进行处理，当要给用户显示时需要从ACE反向转换为UNICODE域名。

Python提供了好几种方法来做转换的工作：使用idna编解码来操作UNICODE与ACE之间相互转换；把输入字符串分离成标记，然后通过RFC3490进行查表，再合并成相应的域名；最后一种是把输入字符串分成标记，通过ACE标记转换。在socket模块里，就透明地实现了从UNICODE主机名称转换为ACE域名，所以应用程序在调用这个模块时就不需要考虑UNICODE域名转换为ACE域名的工作了。基于socket模块之上的功能，比如http.client和ftplib都可以接受UNICODE域名。

当从网络收到的域名，它是不会自动转换为 UNICODE域名的，需要应用程序进行转换之后，才能以UNICODE域名显示给用户。

模块encodings.idna也实现nameprep的处理，它能实现主机名称的标准化处理，域名的大小写统一化，如果需要这些功能是可以直接使用。

encodings.idna.nameprep(label)
返回label的国际化标志名称。

encodings.idna.ToASCII(label)
转换label为ASCII表示，符合标准RFC 3490。

encodings.idna.ToUnicode(label)
转换label为UNICODE表示，符合标准RFC 3490.
4.2.6 encodings.mbcs--Windows的ANSI编码
本模块实现从ANSI（CP_ACP）代码进行编码的功能。仅在Windows系统上可用。

4.2.7 encodings.utf_8_sig-UTF-8带BOM标记的codec编码
本模块实现UTF-8的编码和解码：把带有BOM的UTF-8编码转换为不带BOM的UTF-8编码。当在生成BOM时，只在第一次时生成；当在解码时跳过相应的BOM标记字节，再进行解码。

Ⅱ 如何理解python3的unicode，以及全角半角转换

1. unicode是一个编码的standard，表明了字符与数字之间的映射，是可变长的。

2. 映射后的数据如何编码为字节？这个就是具体的编码规则：目前最主流的是UTF-8，同样，它也是变字长的。

python3中的str都是unicode的：“The default encoding for Python source code is UTF-8”

python3中的encode：按照encode()括号中的参数对字符串进行编码，就是生成bytes。

所以：

In：'中文'.encode('utf-8')
Out：b'\xe4\xb8\xad\xe6\x96\x87'

这里的b就是Byte，\x表示这个x是被转义的，意思就是0x。又如：

In: 'abc'.encode('utf-8')

Out: b'abc'

上面的b'a'其实表示的是数字97,b'a'的意思就是字符串'a'的binary数字：

[In]:'abc'.encode('utf-8')[0]

[Out]: 97

同时可以把b'\x'进行解码，即：
In：b'\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
Out：'中文'
除了encode('utf-8')外，用ord可以获得单个utf-8字符对应的数字：

In [60]: ord('a')
Out[60]: 97
In [61]: ord('a')＃这个是全角的a
Out[61]: 65345

除了decode('utf-8')外，用chr可以获得数字对应的utf-8字符：

In [62]: chr(97)
Out[62]: 'a'

除了unicode还有别的编码标准吗？有啊，比如我国的GBK，别名也叫cp936。

全角和半角之分，是指同样一个意义的字符，显示的大小不同．具体来说，全角和半角的编码是两个结果：

In [70]: "mn".encode('utf-8')
Out[70]: b'\xef\xbd\x8d\xef\xbd\x8e
[In]:"mn".encode('utf-8')

[Out]:b'mn'

它们有什么对应关系呢？(引自这里)

转换说明
全角半角转换说明
有规律（不含空格）：
全角字符unicode编码从65281~65374 （十六进制 0xFF01 ~ 0xFF5E）
半角字符unicode编码从33~126 （十六进制 0x21~ 0x7E）
特例：
空格比较特殊，全角为 12288（0x3000），半角为 32（0x20）
除空格外，全角/半角按unicode编码排序在顺序上是对应的（半角 + 0x7e= 全角）,所以可以直接通过用+-法来处理非空格数据，对空格单独处理。
代码在此基础上改动一下（将unichr改为chr即可，适应python3），即：

def strQ2B(ustring):
"""全角转半角"""
rstring = ""
for uchar in ustring:
inside_code=ord(uchar)
if inside_code == 12288: #全角空格直接转换
inside_code = 32
elif (inside_code >= 65281 and inside_code <= 65374): #全角字符（除空格）根据关系转化
inside_code -= 65248
rstring += chr(inside_code)
return rstring

In [69]: strQ2B('你好python')
Out[69]: '你好python'

Ⅲ python unicode编码

python unicode编码：

下面的代码创建了一个Unicode字符串，用UTF-8编码器将它编码，然后写入到一个文件中去，接着把数据从文件中读回来，解码成Unicode字符串对象，最后，打印出Unicode字符串，用以确认程序正确地运行。

在linux中编写，在VIM中输入如下代码，保存为uniFile.py

#/home/xiaopeng/python/code/uniFile.py
'''
:Writes
aUnicodestringtoafileinutf-8andreadsitbackin
'''
CODEC='utf-8'编码方式
FILE='unicode.txt'要存的文件名
hello_out=u"Helloworld
"创建了一个Unicode格式的字符串
bytes_out=hello_out.encode(CODEC)用UTF-8编码
f=open(FILE,'w')
f.write(bytes_out)写入指定文件中
f.close()
f=open(FILE,'r')
bytes_in=f.read()读取
f.close()
hello_in=bytes_in.decode(CODEC)解码
printhello_in打印

在终端中输入：python uniFile.py

结果打印出 Hello world

然后在python目录下会发现多了一个名为unicode.txt的文件，用cat命令查看一下，发现里面的内容和打印的结果一样.

把Unicode应用到实际中注意一下四点：

1程序中出现字符串时一定要加一个前缀u

2不要用str()函数，用Unicode()代替

3 不要用过时的string模块。如果传给它非ASCII码，它会把一切搞砸。

4 不到必须时不要在你的程序里编解码Unicode字符，只在你要写入文件或者数据库或者网络时，才调用encode()函数和decode()函数。

Ⅳ Python2.7 中文字符编码，使用Unicode时，选择什么编码格式

关于编码和乱码的问题，我简单讲一下。

通常问这类问题的人是混淆了若干个不同的概念，并且他们自己也没有意识到自己混淆了这些概念的。

• 终端显示字符的编码（windows下终端是cmd，linux下是各种terminal，远程登录是putty或者xshell）

• shell环境的编码。比如中文版windows用的是gbk（向下兼容gb2312），大多数linux发行版使用的是utf-8（LANG=zh_CN.UTF-8）。

• 文本文件的编码。这个通常取决于你的编辑器，而且有的编辑器支持多种编码的话，你可以在文本开头位置指定编辑器使用特定编码。比如# -*- coding: utf8 -*-，vim看到这行会默认将这个脚本认定为utf-8兼容编码格式。

• 应用程序的内部编码。一个字符串，作为数据只是一个字节数组，但是作为字符的数组，就有一个解析方式。java和python的内部字符编码是utf-16，python和java都支持用不同的编码来对字节数组进行decode来得到字符数组。




拿题主的问题来解释一下。

我在ubuntu kylin中文环境下默认terminal中做了同样的实验，但是结果和题主恰好相反：



这个实际上是gbk(兼容gb2312)的字符“汉字”的真实字节数组。这个实际上是gbk(兼容gb2312)的字符“汉字”的真实字节数组。
所以对这坨数据做unicode("汉字","utf8")会失败——因为不管你怎么想，虽然看上去是一样，但是实际上不是同一坨东西啊！

• 题主现在弄了一个文件，在开始加上了
  # -*- coding: utf8 -*-
  这下编辑器看到了，知道这文件是utf-8的了。所以编辑器对读入的一坨坨字节用utf-8来解码，对于输出到磁盘的汉字也用utf-8来编码。所以你在文件里面看到的看上去像“汉字”的东西，就和第一种情况下想同了，当然代码就跑得通。
  顺便说一下，如果编辑器无视行首这行编码声明，或者编辑器无法支持utf-8格式，那么你弄好的文件在那个编辑器下就会显示乱码，多么简单的道理啊。



• 所以，要能够正常的显示中文（或者其他什么乱七八糟奇葩的多字节文字），以下条件缺一不可：



• 终端和环境的编码一致（本机通常是一致的，不一致常常出现在远程登录）；如果不一致就需要有编辑器或者文本阅读器做一个兼容两者的转换。

• 编辑器能够认识文本编码

• 系统拥有能显示这种字符的字体。




这也就是我为什么一直反对在程序文本中使用除ascii之外的所有编码字符的原因。环境太复杂了，绕开问题远比解决问题轻松。

Ⅳ day-04 总结python字符串

1.什么是字符串
序列，有序，不可变的
用单引号或者双引号任意字符集，

2，字符串中的字符
普通字符：ན', 'sdfsdfsd', '+ + (**&^%$#@@', '发技术规范举案说法'

'''
python中的字符采用的是unicode编码

1.什么是编码
就是数字和字符的一一对应的，其中字符对应的数字就是字符的编码
a - 97
b - 98

2.编码方式
ASCII码表 ：针对数字字符，字母字符（26个小写字母和26个大写字母），一些英文中对应的符号进行编码
小写字母要大于大写字母的编码值，采用一个字节对字符进行编码，只能对128个字符进行编码

Unicode码 ：Unicode码包含了ASCII码表，同时能够对世界上所有语言对应的符号进行编码，
采用两个字节进行编码，能够编码65536个字符

3.两个函数
chr(编码值)--将字符编码值转化为字符
ord(字符)-- 获取字符对应的编码值
中文编码范围 0x4e00~~~~~0x9fa5

一旦一个字符串确定了，那么字符串中每个字符的位置就确定了，而且每个字符会对应一个表示其位置和顺序的下标值

1，下标（索引）
字符串中的每一个字符都有一个下标，代表在字符串中的位置
下标范围是：0到字符串长度---1 0（代表第一个字符的位置）
-1 ~ 字符串长度 -1（代表字符串中最后一个字符的位置）

'abc' # ''

获取单个字符
语法：字符串[下标]--获取字符串中指定下标对应的字符
说明 字符串--可以是字符串常量，也可以是字符串变量
[]---固定写法
下标--字符的下标，不能越界。

获取部分字符
语法：字符串[开始下标:结束下标:步长]
步长-- 一个整数
功能： 从开始下标获取到结束下标前位置，每次下标值增加步长，结果是字符串
注意：当步长是整数，开始下标对应的字符要在结束下标的前面
当步长是负数，开始下标对应的字符要在结束下标的后面

方法2：字符串[开始下表：结束下标]（相当于步长是一）

获取部分字符，省略下标
获取部分字符的时候开始下标和结束下标都可以省略
a.开始下标省略
字符串[:结束下标：步长] 或者字符串[:结束下表]
字符串是正数：从字符串开头开始往后获取
字符串是负数：从字符串结尾开始往前获取

结束下标省略
字符串[开始下标：：步长]
步长是正数，从开始下标从前往后获取到字符串最后
步长是负数，从开始下标从后往前获取到字符串开始

,加法运算
字符串1 + 字符串2 将两个字符串拼接在一起，产生一个新的字符串

乘法运算
字符串 * n(正整数)：字符串中的内容重复n次产生一个新的字符串

比较运算符
a. == ！=
字符串1 == 字符串2 ---------判断两个字符串是否相等

b.> ,< , >= ,<= (所有的大写字母编码都比小写的编码小)
两个字符串比较大下：从第一个开始，找到第一对不同的字符，然后比较他们的编码值的大小

in 和 not in
字符串1 in 字符串2 :判断字符串2是否包含字符串1
字符串1 not in 字符串2 :判断字符串2是否不包含字符串1

len函数
len(序列)------- 获取序列的长度
len(字符串)----获取字符串中字符的个数

str函数
str(数据)： 将数据转换成字符串

其他数据转换成字符串
所有的数据都可以转换成字符串,转换的时候就是在数据的值的最外面加引号

补充：系统对应的类型名不能用来给变量命名

字符串转其他类型
字符串转整数: int(字符串) 去掉引号后本身就是个整数的字符串才能转
字符串转浮点型: Float(字符串)
字符串转布尔： boll(字符串) ，除了空串会转化成False，其他的都会转化成True

格式字符串
指的是字符串中通过格式占位符来表示字符串中变化，然后后面再通过其他的值来给占位符赋值
含有格式占位符的字符串 % （占位符对应的值）
说明:
含有格式占位符有固定写法，可以有多个
%----固定写法
（）----里面值 的个数要和前面的格式占位符一一对应
%d--整数
%s--字符串
%f--小数
%c--字符(可以将数字转换成字符)

字符串.capitalize() - 将字符串第一个字符转换成大写

2.字符串对齐
字符串.center(width, fillchar) - 居中
字符串.ljust(width, fillchar) - 左对齐
字符串.rjust(width, fillchar) - 右对齐

width - 正整数，表示新的字符串的宽度
fillchar - 字符， 填充字符串

字符串.isalpha 若字符串至少有一个字符，并且所有字符都是字母就返回True，否则返回False

字符串。isdigit（） 若字符串中只包含数字就返回True,否则返回False

若字符串中只包含数字字符，则返回True,否则返回 False

3.join(seq)
字符串1.join(字符串2): 将字符串1的内容插入到字符串2的每个字符之间

max(字符串) 编码最大
min(字符串)

count(str)|返回 str 在 string 里面出现的次数

|islower()|如果字符串中包含至少一个区分大小写的字符，并且所有这些(区分大小写的)字符都是小写，则返回 True，否则返回 False

expandtabs(tabsize=8)|把字符串 string 中的 tab 符号转为空格，tab 符号默认的空格数是 8 。

|isspace()|如果字符串中只包含空白，则返回 True，否则返回 False

endswith(suffix)|检查字符串是否以 obj 结束，如果beg 或者 end 指定则检查指定的范围内是否以 obj 结束，如果是，返回 True,否则返回 False.

Ⅵ python是什么编码格式

python编码总结：
1).首先python有两种格式的字符串，str和unicode，其中unicode相当于字节码那样，可以跨平台使用。
str转化为unicode可以通过unicode()，u，str.decode三种方式
unicode转化为str，如果有中文的话，一般通过encode的方式
2).如果代码中有中文的话，我们一般会添加 "# coding=utf-8"，这个是什么作用呢，一般如下：
如果代码中有中文注释，就需要此声明比较高级的编辑器（比如我的emacs），会根据头部声明，将此作为代码文件的格式。程序会通过
头部声明，解码初始化 u”人生苦短”，这样的unicode对象，（所以头部声明和代码的存储格式要一致
所以，当我们填上编码头的时候，使用s="中文"，实际上type(s)是一个str，是已经将unicode以utf-8格式编码成str。
其次，如果我们在代码中使用s=u'中文'，相当于将str以utf-8解码成unicode。
推荐学习《python教程》。

Ⅶ python 字符串格式的unicode编码转中文

 python对于Unicode编码可以使用decode进行转换成中文：

>>> str = b'\xe8\xb4\xb9\xe8\x84\x91\xe5\xad\x90'

>>> str.decode('utf-8')

'费脑子'

如果是字符串类型的Unicode编码没办法直接用decode进行转换：

>>> str ="\\xe8\\xb4\\xb9\\xe8\\x84\\x91\\xe5\\xad\\x90"

>>> str.decode('utf-8')

Traceback (most recent call last):

  File "<stdin>", line 1, in <mole>

AttributeError: 'str' object has no attribute 'decode'

处理方式：

>>> str = eval("b" + "\"" + str + "\"")

>>> str.decode('utf-8')

'费脑子'

Ⅷ python编程（三级）1、编码、数制

在计算机中使用的是二进制，（为什么呢，因为二进制计算简单，可以用电路表示等等很多优点）。但是二进制对阅读和使用是不友好的，因此需要将二进制转换为人类使用的语言，英语，中文等，这就是编码。

最初的编码就是ASCII编码，美国信息交换码。它使用一个字节，8位二进制，可以表示128个符号。常用的1-9,26个字母以及一些英语符号等。

ascii表是不能表示中文的，因此中文也有专门的编码，诸如GB2312，GBK等。其它国家也有类似编码，因此为了方便信息的交流，也就有了统一编码，Unicode，又叫万国码。unicode用0-65535来表示所有字符，Unicode用2-4个字节存储。不同的存储方式，又不同的编码，这就是UTF-8，UTF-16，UTF-32。utf-8根据字符数字的大小，来决定存储字节，存储英文字符时用1个字节，存储汉字时用2个字节。utf-16，两个字节，utf-32，四个字节。

python3 在内存中使用的是Unicode，万国码，默认的编码是utf-8。

chr() ，转换为对应Unicode表字符

ord()，转换为对于Unicode表数字

encode()，编码，将str转换为字节流

decode()，解码，将字节流转换为str

计算机存储数据的格式是二进制，日常和数学中使用的数字是十进制，为了表达简化，因此有了十六进制、八进制。

二进制---->十进制---->八进制---》十六进制

10000001  ---》129  ---》201---》81

从上式可以看出来，进制越大，表达更大数时更简化。

二进制转十进制  ，按权展开相加

十进制转二进制，除基取余

二进制转八进制 ，从右往左，取3位转换为十进制得到即为8进制，不足3位左边补0。

八进制转二进制，每位展开得到3个二进制位

二进制转十六进制，，从右往左，取4位转换为十进制得到即为16进制，不足3位左边补0。

十六进制转二进制，每位展开得到四个二进制位

int() ，

hex()，转换为16进制

bin()，转换为二进制

oct()，转换为八进制

Ⅸ python123汉字的unicode编码值

python的默认编码是ascii，可以通过sys.setdefaultencoding('utf-8')函数设置python的默认编码。

python中可以通过encode和decode的方式改变数据的编码，比如：

>>> u'汉字'

u'\u6c49\u5b57'

>>> u'汉字'.encode('utf-8')

'\xe6\xb1\x89\xe5\xad\x97'

>>> u'汉字'.encode('utf-8').decode('utf-8')

u'\u6c49\u5b57'

我们可以通过这两个函数设置编码。

那么，python中的str是什么类型？

>>> import binascii

>>> '汉字'

'\xba\xba\xd7\xd6'

>>> type('汉字')

>>> print binascii.b2a_hex('汉字')

babad7d6

>>> print binascii.b2a_hex(u'汉字')

Traceback (most recent call last):

File "", line 1, in

UnicodeEncodeError: 'ascii' codec can't encode characters in

position 0-1: ordinal not in range(128)

>>> print binascii.b2a_hex(u'汉字'.encode('utf-8'))

e6b189e5ad97

>>> print binascii.b2a_hex(u'汉字'.encode('gbk'))

babad7d6

binascii是将数据的二进制转换成ascii，上面的解释是：‘汉字'的类型是str，二进制是babad7d6，u‘汉字'是无法转换成ascii，这样就报出了开头的第一个错误。解决办法就是把它.encode(‘utf-8')成str类型。因为我命令行是windows默认的GBK编码，所有u'汉字'.encode(‘gbk')的时候，输出结果和‘汉字'结果一样。