python编码问题——“utf-8”与“gbk”

在进行CRNN训练中文字体OCR时，楼主碰到了令人头疼的问题，中英文编码不同。
这边文章主要来讲一下“utf-8”与“gbk”的一些问题，有人或许会问不是还有一个unicode吗？看完下面一张图就知道啦。

unicode其实是一种在操作过程中存在的字符状态，一般来讲，例如python中的str都是以“unicode”编码，在进行操作时会具化成为“utf-8”与“gbk”，往往是前者居多。
如上图所示，在python中不同编码的转换都要经过Unicode，不论是UTF-8或者是GBK，整个过程都是先通过编码decode转换为Unicode告诉Unicode当前的编码格式是什么、然后再通过解码encode转换为自己想要实现的编码格式或类型。
看下下面的命令，会清楚很多。

s = '你好'
# str类型，默认编码为unicode
print(s.encode("gbk"))
# Unicode转gbk
# 输出为：b'\xc4\xe3\xba\xc3'
s = s.encode("gbk")
# 将gbk的s编码赋给s
print(s)
# 显然输出为： b'\xc4\xe3\xba\xc3'
print(len(s))
# 输出长度为 **4**
print(s.decode('gbk').encode("utf-8")) # Unicode转utf-8
#输出为： b'\xe4\xbd\xa0\xe5\xa5\xbd'
#在这条语句中，由于先前s已经变成了gbk编码，所以得先解码变成unicode，再进行编码，否则报错
s = s.decode('gbk').encode("utf-8")
print(s)
#显然输出为： b'\xe4\xbd\xa0\xe5\xa5\xbd'
print(len(s))
# 输出长度为 **6**

那么“utf-8”与“gbk”两者区别是什么呢：
一、GBK是在国家标准GB2312基础上扩容后兼容GB2312的标准（好像还不是国家标准）。GBK编码专门用来解决中文编码的，是双字节的。不论中英文都是双字节的。GBK包含全部中文字符。
二、UTF－8 编码是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24位（三个字节）来编码。对于英文字符较多的论坛则用UTF－8 节省空间。另外，如果是外国人访问你的GBK网页，需要下载中文语言包支持。访问UTF-8编码的网页则不出现这问题。可以直接访问。UTF-8则包含全世界所有国家需要用到的字符。

python编码问题——“utf-8”与“gbk”相关推荐

python编码规范utf8还是gbk还是ask_彻底搞懂 Python 编码
因为中文的特殊编码,导致 Python2 和 Python3 使用过程中的各种编码问题,如果不清楚其中的关联关系,那么这就一直是个大坑,不是懵逼就还是懵逼,所以就目前碰到的情况彻底梳理下 Python ...
html转换编码格式,html编码转换 html编码设置utf gbk编码转换图文教程
html编码转换 html编码设置utf gbk编码转换图文教程篇常用HTML编码之urf-8编码转换为gb2312编码或者gb2312转换为utf-8编码快速转换设置,这里DIVCSS5介绍使用D ...
python编码终极版
**转载网址**:https://www.cnblogs.com/575dsj/p/7112767.html py编码终极版说起python编码,真是句句心酸.算起来,反复折腾两个来月了.万幸的是, ...
python 乱码转码_数据库乱码问题 Python 编码问题（Unicode 的 encode、decode 相互转换）...
前言: 今天有个项目需要合并(A合并到B),我所做的就是数据库的合并操作,其中出现的主要问题就是乱码的问题.乱码这个问题是很常见的问题,今天整理了下自己所理解的一点见解. 案例: NAME COMPA ...
python 编码转换
一.了解字符编码的知识储备 1. 文本编辑器存取文件的原理(nodepad++,pycharm,word) 打开编辑器就打开了启动了一个进程,是在内存中的,所以在编辑器编写的内容也都是存放与内存中的, ...
Python编码---转自金角大王
本节内容编码回顾编码转换 Python的bytes类型编码回顾在备编码相关的课件时,在知乎上看到一段关于Python编码的回答这哥们的这段话说的太对了,搞Python不把编码彻底搞明白,总有 ...
python编码问题无法复现_Python编码问题详解
1. 基本概念字符集(Character set) 解释:文字和符合的总称常见字符集: Unicode字符集 ASCII字符集(Unicode子集) GB2312字符集编码方法(Encoding ...
PYTHON编码处理-str与Unicode的区别
一篇关于STR和UNICODE的好文章整理下python编码相关的内容注意: 以下讨论为Python2.x版本, Py3k的待尝试开始用python处理中文时,读取文件或消息,http参数等等 ...
python编码读法-python中文读法
广告关闭腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! 而python是测试过程中最为常用的语言之一,很多测试团队的自动化代码和用例都是使 ...
python编码问题总结
http://www.xprogrammer.com/1258.html 最近利用python抓取一些网上的数据,遇到了编码的问题.非常头痛,总结一下用到的解决方案. linux中vim下查看文件编码 ...

python编码问题——“utf-8”与“gbk”

python编码问题——“utf-8”与“gbk”相关推荐

最新文章

热门文章