一图看懂 Python 2 / Python 3 编码

作者 | 天元浪子

责编 | 刘静

出品 | CSDN博客

无论是PY2还是PY3，都使用Unicode作为内存编码，简称内码。保存在Python解释器内存中的文本，输出到屏幕、编辑器，或者保存成文件的时候，都要将内码转换成UTF8或者GBK等编码格式；同样，Python解释器从输入设备接收文本，或者从文件读取文本的时候，都要将UTF8或者GBK等编码转换成Unicode编码格式。因此，无论是PY2还是PY3，想要在Unicode、UTF8、GBK等编码格式之间转换的话，下图是通用的：

我们之所以会产生困惑，是因为PY2和PY3给这些编码格式指定了令人困惑的名字。PY2的字符串有两种类型：Unicode类型和str类型。PY2的Unicode类型就是Unicode编码，PY2的str类型泛指除Unicode编码之外的所有编码，包括ASCII编码、UTF8编码、GBK编码、cp936编码等。PY3的字符串也有两种类型：bytes类型和str类型。PY3的str类型就是Unicode编码，PY3的bytes类型泛指除unicode编码之外的所有编码，包括ASCII编码、UTF8编码、GBK编码、CP936编码等。同样是str类型，在PY2和PY3中完全颠倒了！下图稍微补充了一点内容，更有助于理解编码问题。

接下来，我们实战演练一下。

>>> s = 'abc天圆地方'
>>> type(s)
<class 'str'>
>>> len(s)
7
>>> s
'abc天圆地方'
>>> print(s)
abc天圆地方
>>> s.encode('unicode-escape')
b'abc\\u5929\\u5706\\u5730\\u65b9'

不管是否在字符串前面加了u，只要不在字符串前面使用b，在IDLE中定义的字符串都是Unicode编码，也就是PY3的<class ‘str’>，其长度就是字符数量，不是字节数。我们把Unicode字符串’abc天圆地方’转成UTF8编码：

>>> s_utf8 = s.encode('utf8')
>>> type(s_utf8)
<class 'bytes'>
>>> len(s_utf8)
15
>>> s_utf8
b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9'
>>> print(s_utf8)
b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9'
>>> s_utf8.decode('utf8')
'abc天圆地方'

UTF8编码就是bytes类型（字节码），长度就是字节数量。我们把Unicode字符串’abc天圆地方’转成GBK编码：

>>> s_gbk= s.encode('gbk')
>>> type(s_gbk)
<class 'bytes'>
>>> len(s_gbk)
11
>>> s_gbk
b'abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'
>>> print(s_gbk)
b'abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'
>>> s_gbk.decode('s_gbk')
'abc天圆地方'

GBK编码也是bytes类型（字节码），长度也是字节数量。我们再来看看，不同编码的字节码能否连接：

>>> ss = s_utf8 + s_gbk
>>> ss
b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'
>>> ss.decode('utf8')
Traceback (most recent call last):File "<pyshell#64>", line 1, in <module>ss.decode('utf8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcc in position 18: invalid continuation byte
>>> ss.decode('gbk')
'abc澶╁渾鍦版柟abc天圆地方'
>>> ss.decode('utf8', 'ignore')
'abc天圆地方abcԲط'
>>> ss.decode('gbk', 'ignore')
'abc澶╁渾鍦版柟abc天圆地方'

看以看出，不同编码的字节码可以连接，但一般不能解码成Unicode（字符串），除非使用ignore参数。

想为博主点赞？

想要请教博主？

扫描下方二维码，快速获取与博主直面沟通的方式吧！

【END】

太嚣张了!拿到这份Python学习资料的人!

https://edu.csdn.net/topic/python115?utm_source=csdn_bw

热文 推荐

☞

一图看懂 Python 2 / Python 3 编码 | CSDN 博文精选相关推荐

一文读懂Python复杂网络分析库networkx | CSDN博文精选
作者 | yyl424525 来源 | CSDN博客文章目录 1. 简介安装支持四种图绘制网络图基本流程 2. Graph-无向图节点边属性有向图和无向图互转 3. DiGraph-有 ...
networkx edge 属性_一文读懂Python复杂网络分析库networkx | CSDN博文精选
作者 | yyl424525 来源 | CSDN博客文章目录 1. 简介安装支持四种图绘制网络图基本流程 2. Graph-无向图节点边属性有向图和无向图互转 3. DiGraph-有 ...
wxPython：Python首选的GUI库 | CSDN博文精选
作者 | 天元浪子来源 | CSDN博客文章目录概述窗口程序的基本框架事件和事件驱动菜单栏/工具栏/状态栏动态布局 AUI布局 DC绘图定时器和线程后记概述跨平台的GUI工具库, ...
一文读懂对抗机器学习Universal adversarial perturbations | CSDN博文精选
作者 | Icoding_F2014 来源 | CSDN博客本文提出一种 universal 对抗扰动,universal 是指同一个扰动加入到不同的图片中,能够使图片被分类模型误分类,而不管图片到 ...
一张图看懂世界石油分布？用Python轻松搞定！(附数据下载)
CDA数据分析师出品 [导语]:今天我们教你用Python画出世界石油分布桑基图,Python技术部分可以直接看第四部分. 获取数据: 扫描下方公众号回复关键字"石油" ...
一张图看懂世界石油分布？用Python轻松搞定！
CDA数据分析师出品 [导语]:今天我们教你用Python画出世界石油分布桑基图,Python技术部分可以直接看第四部分. 作者:Mika 数据:真达后期:泽龙设计:一凡 Sho ...
一图看懂 toml 模块：用于解析和创建TOML(Tom‘s Obvious, Minimal Language)的Python库, 资料整理+笔记（大全）
本文由大侠(AhcaoZhu)原创,转载请声明. 链接: https://blog.csdn.net/Ahcao2008 @[TOC](一图看懂 toml 模块:用于解析和创建TOML(Tom's ...
每天学习python 30分钟 -了解python - 看懂#!/usr/bin/python
文章目录看懂#!/usr/bin/python (2021/6/16) 当一件事情,只有迈出了第一步,才会有第二步,而踏出这第一步是非常重要的.今天起,将决定学习python,每天30分钟,一天高效 ...
python图片识别论文_Python识别文字，实现看图说话 | CSDN博文精选
原标题:Python识别文字,实现看图说话 | CSDN博文精选作者 | 张小腿来源 | CSDN博客现在写文件很多网站都不让复制了,所以每次都是截图然后发到QQ上然后用手机QQ的文字识别再发回 ...

一图看懂 Python 2 / Python 3 编码 | CSDN 博文精选

一图看懂 Python 2 / Python 3 编码 | CSDN 博文精选相关推荐

最新文章

热门文章