javaee论坛

普通会员

225648

帖子

343

回复

357

积分

楼主
发表于 2019-11-07 13:06:37 | 查看: 66 | 回复: 0

无论是py2还是py3,都使用unicode作为内存编码,简称内码。保存在python解释器内存中的文本,输出到屏幕、编辑器,或者保存成文件的时候,都要将内码转换成utf8或者gbk等编码格式;同样,python解释器从输入设备接收文本,或者从文件读取文本的时候,都要将utf8或者gbk等编码转换成unicode编码格式。因此,无论是py2还是py3,想要在unicode、utf8、gbk等编码格式之间转换的话,下图是通用的:我们之所以会产生困惑,是因为py2和py3给这些编码格式指定了令人困惑的名字。py2的字符串有两种类型:unicode类型和str类型。py2的unicode类型就是unicode编码,py2的str类型泛指除unicode编码之外的所有编码,包括ascii编码、utf8编码、gbk编码、cp936编码等。py3的字符串也有两种类型:bytes类型和str类型。py3的str类型就是unicode编码,py3的bytes类型泛指除unicode编码之外的所有编码,包括ascii编码、utf8编码、gbk编码、cp936编码等。同样是str类型,在py2和py3中完全颠倒了!下图稍微补充了一点内容,更有助于理解编码问题。

接下来,我们实战演练一下。

>>>s='abc天圆地方'>>>type(s)<class'str'>>>>len(s)7>>>s'abc天圆地方'>>>print(s)abc天圆地方>>>s.encode('unicode-escape')b'abc\\u5929\\u5706\\u5730\\u65b9'

不管是否在字符串前面加了u,只要不在字符串前面使用b,在IDLE中定义的字符串都是unicode编码,也就是py3的<class‘str’>,其长度就是字符数量,不是字节数。我们把unicode字符串’abc天圆地方’转成utf8编码:

>>>s_utf8=s.encode('utf8')>>>type(s_utf8)<class'bytes'>>>>len(s_utf8)15>>>s_utf8b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9'>>>print(s_utf8)b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9'>>>s_utf8.decode('utf8')'abc天圆地方'

utf8编码就是bytes类型(字节码),长度就是字节数量。我们把unicode字符串’abc天圆地方’转成gbk编码:

>>>s_gbk=s.encode('gbk')>>>type(s_gbk)<class'bytes'>>>>len(s_gbk)11>>>s_gbkb'abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'>>>print(s_gbk)b'abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'>>>s_gbk.decode('s_gbk')'abc天圆地方'

gbk编码也是bytes类型(字节码),长度也是字节数量。我们再来看看,不同编码的字节码能否连接:

>>>ss=s_utf8+s_gbk>>>ssb'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'>>>ss.decode('utf8')Traceback(mostrecentcalllast):File"<pyshell#64>",line1,in<module>ss.decode('utf8')UnicodeDecodeError:'utf-8'codeccan'tdecodebyte0xccinposition18:invalidcontinuationbyte>>>ss.decode('gbk')'abc澶╁渾鍦版柟abc天圆地方'>>>ss.decode('utf8','ignore')'abc天圆地方abcԲط'>>>ss.decode('gbk','ignore')'abc澶╁渾鍦版柟abc天圆地方'

看以看出,不同编码的字节码可以连接,但一般不能解码成unicode(字符串),除非使用ignore参数。

后记

近期有很多朋友通过私信咨询有关python学习问题。为便于交流,我创建了一个名为“python程序员进阶之路”的微信群,面向python初学者,为大家提供一个交流学习的平台。我也会尽我所能在群里为大家提供技术支持。欢迎有兴趣的同学扫我微信码,我带你入队。


您需要登录后才可以回帖 登录 | 立即注册

触屏版| 电脑版

技术支持 历史网 V2.0 © 2016-2017