pythonufeff是什么

⑴ python怎么用正则表达式提取中文

1、字符串line='ufeffD0002044x01大数据x01数据分析x01技术x01工具x01应用 '
想提取出其中的“大数据”，“数据分析”，“技术”，“工具”，“应用”这些中文，用了正则表达式：
>>>pat2='x01(.*?)'
>>>rs=re.compile(pat2).findall(line)
>>>print(rs)
['','','','','']
显示的结果是空，请问如何才能正确的提出中文部分。

2、原文： 法规名称:'《中华人民共和国合同法》',Items:[{法条名称:'第五十二条'
匹配成： 《中华人民共和国合同法》第五十二条
(?<=法规名称:').*?（',Items:[{法条名称:'）.*?(?=') 请问这样匹配哪里错了？Python报sre_constants.error: unterminated character set at position 22

3、Python re正则匹配中文，其实非常简单，把中文的unicode字符串转换成utf-8格式就可以了，然后可以在re中随意调用
unicode中中文的编码为/u4e00-/u9fa5，因此正则表达式u”[u4e00-u9fa5]+”可以表示一个或者多个中文字符
>>> import re
>>> s='中文：123456aa哈哈哈bbcc'.decode('utf8')
>>> s
u''
>>> print s
中文：123456aa哈哈哈bbcc 。

⑵ python怎么用正则表达式提取中文

Python re正则匹配中文，其实非常简单，把中文的unicode字符串转换成utf-8格式就可以了，然后可以在re中随意调用
unicode中中文的编码为/u4e00-/u9fa5，因此正则表达式u”[\u4e00-\u9fa5]+”可以表示一个或者多个中文字符
>>> import re

>>> s='中文：123456aa哈哈哈bbcc'.decode('utf8')
>>> s
u'\u4e2d\u6587\uff1a123456aa\u54c8\u54c8\u54c8bbcc'
>>> print s
中文：123456aa哈哈哈bbcc

>>> re.match(u"[\u4e00-\u9fa5]+",s)
<_sre.SRE_Match object at 0xb77742c0>

>>> pat='中文'.decode("utf8")
>>> re.search(pat,s)
<_sre.SRE_Match object at 0x16a16df0>

>>> newpat='这里是中文内容'.decode("utf8")

>>> news=re.sub(pat,newpat,s)
>>> print news
这里是中文内容：123456aa哈哈哈bbcc

from:http://blog.aizhet.com/web/12078.html

⑶ python 读取的中文怎么使用

在本文中，以'哈'来解释作示例解释所有的问题，“哈”的各种编码如下：
1. UNICODE (UTF8-16)，C854；
2． UTF-8，E59388；
3． GBK，B9FE。

一、python中的str和unicode

一直以来，python中的中文编码就是一个极为头大的问题，经常抛出编码转换的异常，python中的str和unicode到底是一个什么东西呢？
在python中提到unicode，一般指的是unicode对象。
例如'哈哈'的unicode对象为

u'/u54c8/u54c8'
而str，是一个字节数组，这个字节数组表示的是对unicode对象编码(可以是utf-8、gbk、cp936、GB2312)后的存储的格式。
这里它仅仅是一个字节流，没有其它的含义，如果你想使这个字节流显示的内容有意义，就必须用正确的编码格式，解码显示。

例如：

在这里 su 是unicode对象，
s_utf8是字节数组，存储的是unicode 经过utf8编码后的字节，'/xe5/x93/x88/xe5/x93/x88'
同样，s_gbk存储的是unicode经过gbk编码后的字节。

在上面print中，为什么print s_utf8为乱码，而print s_gbk就可以显示的是中文？

因为print语句它的实现是将要输出的内容传送了操作系统，操作系统会根据系统的编码对输入的字节流进行编码，这就解释了为什么utf-8格式的字符串“哈哈”，输出的是“鍝埚搱”，因为'/xe5/x93/x88/xe5/x93/x88'用GB2312去解释，其显示的出来就是“鍝埚搱”。

这里再强调一下，str记录的是字节数组，只是某种编码的存储格式，至于输出到文件或是打印出来是什么格式，完全取决于其解码的编码将它解码成什么样子。

这里再对print进行一点补充说明：当将一个unicode对象传给print时，在内部会将该unicode对象进行一次转换，转换成本地的默认编码（这仅是个人猜测）

二、str和unicode对象的转换
str和unicode对象的转换，通过encode和decode实现，具体使用如下：

将GBK'哈哈'转换成unicode，然后再转换成UTF8

三、设定默认编码 Setdefaultencoding

如上图的演示代码所示：

当把s(gbk字符串)直接编码成utf-8的时候，将抛出异常，但是通过调用如下代码：

import sys

reload(sys)

sys.setdefaultencoding('gbk')

后就可以转换成功，为什么呢？
在python中str和unicode在编码和解码过程中，如果将一个str直接编码成另一种编码，会先把str解码成unicode，采用的编码为默认编码，一般默认编码是anscii，所以在上面示例代码中第一次转换的时候会出错，当设定当前默认编码为'gbk'后，就不会出错了。

至于reload(sys)是因为Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入。

四、操作不同文件的编码格式的文件
建立一个文件test.txt，文件格式用ANSI，内容为:
abc中文

用python来读取
# coding=gbk

print open("Test.txt").read()

结果：
abc中文

把文件格式改成UTF-8：

结果：
abc涓菡孧

显然，这里需要解码：
# coding=gbk

import codecs

print open("Test.txt").read().decode("utf-8")

结果：
abc中文

上面的test.txt我是用Editplus来编辑的，但当我用Windows自带的记事本编辑并存成UTF-8格式时，

运行时报错：
Traceback (most recent call last):

File "ChineseTest.py", line 3, in

print open("Test.txt").read().decode("utf-8")

UnicodeEncodeError: 'gbk' codec can't encode character u'/ufeff' in position 0: illegal multibyte sequence

原来，某些软件，如notepad，在保存一个以UTF-8编码的文件时，会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。

因此我们在读取时需要自己去掉这些字符，python中的codecs mole定义了这个常量：
# coding=gbk

import codecs

data = open("Test.txt").read()

if data[:3] == codecs.BOM_UTF8:

data = data[3:]

print data.decode("utf-8")

结果：
abc中文

五、文件的编码格式和编码声明的作用

源文件的编码格式对字符串的声明有什么作用呢？
这个问题困扰一直困扰了我好久，现在终于有点眉目了，文件的编码格式决定了在该源文件中声明的字符串的编码格式，例如：
str = '哈哈'

print repr(str)

a.如果文件格式为utf-8，则str的值为：'/xe5/x93/x88/xe5/x93/x88'（哈哈的utf-8编码）
b.如果文件格式为gbk，则str的值为：'/xb9/xfe/xb9/xfe'（哈哈的gbk编码）

在第一节已经说过，python中的字符串，只是一个字节数组，所以当把a情况的str输出到gbk编码的控制台时，就将显示为乱码：鍝埚搱；而当把b情况下的str输出utf-8编码的控制台时，也将显示乱码的问题，是什么也没有，也许'/xb9/xfe/xb9/xfe'用utf-8解码显示，就是空白吧。>_<

说完文件格式，现在来谈谈编码声明的作用吧，每个文件在最上面的地方，都会用# coding=gbk 类似的语句声明一下编码，但是这个声明到底有什么用呢？到止前为止，我觉得它的作用也就是三个：

a、声明源文件中将出现非ascii编码，通常也就是中文；
b、在高级的IDE中，IDE会将你的文件格式保存成你指定编码格式。
c、决定源码中类似于u'哈'这类声明的将‘哈’解码成unicode所用的编码格式，也是一个比较容易让人迷惑的地方，
看示例：
#coding:gbk

ss = u'哈哈'
print repr(ss)
print 'ss:%s' % ss

将这个些代码保存成一个utf-8文本，运行，你认为会输出什么呢？大家第一感觉肯定输出的肯定是：
u'/u54c8/u54c8'
ss:哈哈

但是实际上输出是：
u'/u935d/u581d/u6431'

ss:鍝埚搱

为什么会这样，这时候，就是编码声明在作怪了，在运行ss = u'哈哈'的时候，整个过程可以分为以下几步：

1) 获取'哈哈'的编码：由文件编码格式确定，为'/xe5/x93/x88/xe5/x93/x88'（哈哈的utf-8编码形式）

2) 转成unicode编码的时候，在这个转换的过程中，对于'/xe5/x93/x88/xe5/x93/x88'的解码，不是用utf-8解码，而是用声明编码处指定的编码GBK，将'/xe5/x93/x88/xe5/x93/x88'按GBK解码，得到就是''鍝埚搱''，
这三个字的unicode编码就是u'/u935d/u581d/u6431'，至止可以解释为什么print repr(ss)输出的是u'/u935d/u581d/u6431'了。

好了，这里有点绕，我们来分析下一个示例：
#-*- coding:utf-8 -*-

ss = u'哈哈'

print repr(ss)

print 'ss:%s' % ss

将这个示例这次保存成GBK编码形式，运行结果，竟然是：
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb9 in position 0: unexpected code byte

这里为什么会有utf8解码错误呢？想想上个示例也明白了，
转换第一步，因为文件编码是GBK，得到的是'哈哈'编码是GBK的编码'/xb9/xfe/xb9/xfe'，
当进行第二步，转换成unicode的时候，会用UTF8对'/xb9/xfe/xb9/xfe'进行解码，而大家查utf-8的编码表会发现，utf8编码表（关于UTF-8解释可参见字符编码笔记：ASCII、UTF-8、UNICODE）中根本不存在，所以会报上述错误。

⑷ python3通过pycharm编译器调用requests接口返回JSON格式Unexpected UTF-8 BOM (decode using utf-8-sig)

因为你的req内容包含BOM字符，去掉req中BOM头的方法如下

ifreq.startswith(u'ufeff'):
req=req.encode('utf8')[3:].decode('utf8')

⑸ python抓取网页内容时出错，UnicodeEncodeError: 'gbk' codec can't encode character '\ue4bf.....

问题是这样的,网页的数据应该是'utf-8'编码,这个可以在网页的head上面看得到,然后你爬网页的时候会把它转化成Unicode,出问题的是在print()这儿,对于print()这个函数,他需要把内容转化为'gbk'编码才能显示出来. 然后解决办法是这样,你在转化后的Unicode编码的string后面,加上 .encode('GBK','ignore').decode('GBk') 也就是先用gbk编码,忽略掉非法字符,然后再译码,是不是很有道理 应该是这样的,因为我和你遇到同样的问题,现在解决了

⑹ 易语言好用还是python语言好用

当然是python好用了，不论是易还是python都不可以编写手机软件python对中文支持不好，这个不好办，不过网上很多相关解决方法的。=====================================================本文原创，如需转载，请注明出处。在本文中，以'哈'来解释作示例解释所有的问题，“哈”的各种编码如下： 1. UNICODE (UTF8-16)，C854； 2． UTF-8，E59388； 3． GBK，B9FE。一、python中的str和unicode
一直以来，python中的中文编码就是一个极为头大的问题，经常抛出编码转换的异常，python中的str和unicode到底是一个什么东西呢？在python中提到unicode，一般指的是unicode对象，例如'哈哈'的unicode对象为u'\u54c8\u54c8'而str，是一个字节数组，这个字节数组表示的是对unicode对象编码(可以是utf-8、gbk、cp936、GB2312)后的存储的格式。这里它仅仅是一个字节流，没有其它的含义，如果你想使这个字节流显示的内容有意义，就必须用正确的编码格式，解码显示。例如： 对于unicode对象哈哈进行编码，编码成一个utf-8编码的str－s_utf8,s_utf8就是是一个字节数组，存放的就是'\xe5\x93\x88\xe5\x93\x88'，但是这仅仅是一个字节数组，如果你想将它通过print语句输出成哈哈，那你就失望了，为什么呢？因为print语句它的实现是将要输出的内容传送了操作系统，操作系统会根据系统的编码对输入的字节流进行编码，这就解释了为什么utf-8格式的字符串“哈哈”，输出的是“鍝埚搱”，因为'\xe5\x93\x88\xe5\x93\x88'用GB2312去解释，其显示的出来就是“鍝埚搱”。这里再强调一下，str记录的是字节数组，只是某种编码的存储格式，至于输出到文件或是打印出来是什么格式，完全取决于其解码的编码将它解码成什么样子。这里再对print进行一点补充说明：当将一个unicode对象传给print时，在内部会将该unicode对象进行一次转换，转换成本地的默认编码（这仅是个人猜测）二、str和unicode对象的转换
str和unicode对象的转换，通过encode和decode实现，具体使用如下： 将GBK'哈哈'转换成unicode，然后再转换成UTF8三、Setdefaultencoding
如上图的演示代码所示：当把s(gbk字符串)直接编码成utf-8的时候，将抛出异常，但是通过调用如下代码：import sysreload(sys)sys.setdefaultencoding('gbk')后就可以转换成功，为什么呢？在python中str和unicode在编码和解码过程中，如果将一个str直接编码成另一种编码，会先把str解码成unicode，采用的编码为默认编码，一般默认编码是anscii，所以在上面示例代码中第一次转换的时候会出错，当设定当前默认编码为'gbk'后，就不会出错了。至于reload(sys)是因为Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入。四、操作不同文件的编码格式的文件
建立一个文件test.txt，文件格式用ANSI，内容为:abc中文用python来读取# coding=gbkprint open("Test.txt").read()结果：abc中文把文件格式改成UTF-8：结果：abc涓�枃显然，这里需要解码：# coding=gbkimport codecsprint open("Test.txt").read().decode("utf-8")结果：abc中文上面的test.txt我是用Editplus来编辑的，但当我用Windows自带的记事本编辑并存成UTF-8格式时，运行时报错：Traceback (most recent call last):File "ChineseTest.py", line 3, in print open("Test.txt").read().decode("utf-8")UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence原来，某些软件，如notepad，在保存一个以UTF-8编码的文件时，会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。因此我们在读取时需要自己去掉这些字符，python中的codecs mole定义了这个常量：# coding=gbkimport codecsdata = open("Test.txt").read()if data[:3] == codecs.BOM_UTF8:data = data[3:]print data.decode("utf-8")结果：abc中文五、文件的编码格式和编码声明的作用源文件的编码格式对字符串的声明有什么作用呢？这个问题困扰一直困扰了我好久，现在终于有点眉目了，文件的编码格式决定了在该源文件中声明的字符串的编码格式，例如：str = '哈哈'print repr(str)a.如果文件格式为utf-8，则str的值为：'\xe5\x93\x88\xe5\x93\x88'（哈哈的utf-8编码）b.如果文件格式为gbk，则str的值为：'\xb9\xfe\xb9\xfe'（哈哈的gbk编码）在第一节已经说过，python中的字符串，只是一个字节数组，所以当把a情况的str输出到gbk编码的控制台时，就将显示为乱码：鍝埚搱；而当把b情况下的str输出utf-8编码的控制台时，也将显示乱码的问题，是什么也没有，也许'\xb9\xfe\xb9\xfe'用utf-8解码显示，就是空白吧。>_<说完文件格式，现在来谈谈编码声明的作用吧，每个文件在最上面的地方，都会用# coding=gbk 类似的语句声明一下编码，但是这个声明到底有什么用呢？到止前为止，我觉得它的作用也就是三个：
1.声明源文件中将出现非ascii编码，通常也就是中文；
2.在高级的IDE中，IDE会将你的文件格式保存成你指定编码格式。
3.决定源码中类似于u'哈'这类声明的将‘哈’解码成unicode所用的编码格式，也是一个比较容易让人迷惑的地方，看示例：
#coding:gbk
ss = u'哈哈'print repr(ss)print 'ss:%s' % ss将这个些代码保存成一个utf-8文本，运行，你认为会输出什么呢？大家第一感觉肯定输出的肯定是：u'\u54c8\u54c8'ss:哈哈但是实际上输出是：u'\u935d\u581d\u6431'ss:鍝埚搱为什么会这样，这时候，就是编码声明在作怪了，在运行ss = u'哈哈'的时候，整个过程可以分为以下几步：1) 获取'哈哈'的编码：由文件编码格式确定，为'\xe5\x93\x88\xe5\x93\x88'（哈哈的utf-8编码形式）2) 转成unicode编码的时候，在这个转换的过程中，对于'\xe5\x93\x88\xe5\x93\x88'的解码，不是用utf-8解码，而是用声明编码处指定的编码GBK，将'\xe5\x93\x88\xe5\x93\x88'按GBK解码，得到就是''鍝埚搱''，这三个字的unicode编码就是u'\u935d\u581d\u6431'，至止可以解释为什么print repr(ss)输出的是u'\u935d\u581d\u6431'了。好了，这里有点绕，我们来分析下一个示例：#-*- coding:utf-8 -*-ss = u'哈哈'print repr(ss)print 'ss:%s' % ss将这个示例这次保存成GBK编码形式，运行结果，竟然是：UnicodeDecodeError: 'utf8' codec can't decode byte 0xb9 in position 0: unexpected code byte这里为什么会有utf8解码错误呢？想想上个示例也明白了，转换第一步，因为文件编码是GBK，得到的是'哈哈'编码是GBK的编码'\xb9\xfe\xb9\xfe'，当进行第二步，转换成unicode的时候，会用UTF8对'\xb9\xfe\xb9\xfe'进行解码，而大家查utf-8的编码表会发现，utf8编码表（关于UTF-8解释可参见字符编码笔记：ASCII、UTF-8、UNICODE）中根本不存在，所以会报上述错误。 本文来自CSDN博客，转载请标明出处： http://blog.csdn.net/kiki113/archive/2009/04/10/4062063.aspx

⑺ Python 编码转换与中文处理

python 中的 unicode 是让人很困惑、比较难以理解的问题. 这篇文章 写的比较好， utf-8是 unicode的一种实现方式，unicode、gbk、gb2312是编码字符集.

Python 默认脚本文件都是 ANSCII 编码的，当文件 中有非 ANSCII 编码范围内的字符的时候就要使用" 编码指示 "来修正一个 mole 的定义中，如果.py文件中包含中文字符（严格的说是含有非anscii字符），则需要在第一行或第二行指定编码声明： # -*- coding=utf-8 -*- 或者 #coding=utf-8
其他的编码如：gbk、gb2312也可以；否则会出现:

先说一下python中的字符串类型，在python中有两种字符串类型，分别是 str 和 unicode ，他们都是basestring的派生类；

在str的文档中有这样的一句话：

也就是说在读取一个文件的内容，或者从网络上读取到内容时，保持的对象为str类型；如果想把一个str转换成特定编码类型，需要把str转为Unicode,然后从unicode转为特定的编码类型如：utf-8、gb2312等。

unicode 转为 gb2312,utf-8等,使用 encode(encoding)

utf-8,GBK转换为 unicode 使用 unicode(s,encoding) 或者 s.decode(encoding)

普通的 str 转为 unicode,

如果直接执行s.encode('gb2312')会发生什么？

这里会发生一个异常：Python 会自动的先将 s 解码为 unicode ，然后再编码成 gb2312。因为解码是python自动进行的，我们没有指明解码方式，python 就会使用 sys.defaultencoding 指明的方式来解码。很多情况下 sys.defaultencoding 是 ANSCII，如果 s 不是这个类型就会出错。
拿上面的情况来说，我的 sys.defaultencoding 是 anscii，而 s 的编码方式和文件的编码方式一致，是 utf8 的，所以出错了:

对于这种情况，我们有两种方法来改正错误：

s = '中文'
s.decode('utf-8').encode('gb2312') ```

import sys
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入
sys.setdefaultencoding('utf-8')
str = '中文'
str.encode('gb2312')

print open("Test.txt").read()

import codecs
print open("Test.txt").read().decode("utf-8")

Traceback (most recent call last):
File "ChineseTest.py", line 3, in <mole>
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'ufeff' in position 0: illegal multibyte sequence

import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")

s = "中文"
print unicode(s, "utf-8")

Traceback (most recent call last):
File "ChineseTest.py", line 3, in <mole>
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data

s = "中文"
print unicode(s, "gbk")

s = "中文"
print unicode(s, "cp936")