记一次 unicode-escape 和 utf-8 编码的互解

记一次 unicode-escape 和 utf-8 编码的转换

是这样的，我在做 CTF 题的 RC4 编码时遇到一个 base64 加密后输出的密文：

mg6CITV6GEaFDTYnObFmENOAVjKcQmGncF90WhqvCFyhhsyqq1s=

.
.
直接 base64 解密后发现输出的是：

b"\x9a\x0e\x82!5z\x18F\x85\r6’9\xb1f\x10\xd3\x80V2\x9cBa\xa7p_tZ\x1a\xaf\x08\\xa1\x86\xcc\xaa\xab["

.
.
9a 在 utf8 中是 \xc2\x9a，所以这不是 UTF8 的 byte 编码，ascii 码是 128 内的，那猜想是 unicode-escape 编码，解密后输出能显示的字符如下：（这是正确的 RC4 加密后的显示，中间过程就不说了）

6’9±fÓV2Ba§p_tZ▒\¡Ìª«[

.
.
拿到了正确的解密后我很好奇它的 base64 密文是怎么生成出来的，就出现了下面喜剧性的一幕：

print(base64.b64encode((base64.b64decode(‘mg6CITV6GEaFDTYnObFmENOAVjKcQmGncF90WhqvCFyhhsyqq1s=’)).decode(‘unicode-escape’).encode(‘unicode-escape’)))

.
.
上面代码的意思就是 ‘unicode-escape’ 解码后再用 ‘unicode-escape’ 编码回来，但是结果是不一样的！！！（竟然不是对称操作，多了个反斜杠号）

a=b"\x9a\x0e\x82!5z\x18F\x85\r6’9\xb1f\x10\xd3\x80V2\x9cBa\xa7p_tZ\x1a\xaf\x08\\xa1\x86\xcc\xaa\xab["
.
print(a.decode(‘unicode-escape’).encode(‘unicode-escape’))

.
.
很明显 b"\\x9a" 这才是正宗的 unicode-escape 编码，关键就是一开始的 b"\x9a" 出题者是怎么搞出来的？？？
经过不断调试我发现可以 utf-8 解码可以把 unicode-escape 的 b"\\x9a" 输出成 b"\x9a" ，但是是字符串类型的结果：

b=b"\\x9a\\x0e\\x82!5z\\x18F\\x85\\r6'9\\xb1f\\x10\\xd3\\x80V2\\x9cBa\\xa7p_tZ\\x1a\\xaf\\x08\\\\\\xa1\\x86\\xcc\\xaa\\xab["
.
print(b.decode(‘utf-8’))
.
print(str(b,‘utf-8’))

.
.
然后经过了很多次尝试，我发现还是不能用命令的形式转成同样字符的 bytes 类型，只能手动加个 b 前置这样，加密后的结果终于对得上了：

c=b"\x9a\x0e\x82!5z\x18F\x85\r6’9\xb1f\x10\xd3\x80V2\x9cBa\xa7p_tZ\x1a\xaf\x08\\xa1\x86\xcc\xaa\xab["
.
print(base64.b64encode( c ))

.
.
做完上面的实验后我感觉编码之间前 128 个字符都可以互相解码，结果是一样的，因为要兼容 ASCII 码。但是 128 之后的字符解码出来的结果就不同了。
当然这是 python3 中才有用的，因为 unicode 编码在 python2 中是 u 前缀的。

首先尝试用 unicode-escape 解码单斜杠 ’ \ ’ 的 utf-8，解码结果不同：

d=b"\xc2\x9a"
.
print(d.decode(‘utf-8’))
.
print(d.decode(‘unicode-escape’))

.
.
再尝试用 utf-8 解双斜杠的 unicode 编码，发现 utf-8 不能解码 unicode-escape ，只能去掉其一个斜杠并作为字符串输出来：

e=b"\\x9a"
.
print(e.decode(‘utf-8’))
.
print(e.decode(‘unicode-escape’))

.
.
好了，分析到这了，里面的编码原理以我现在的水平还不能拿解释。。。后会有期！

记一次 unicode-escape 和 utf-8 编码的互解相关推荐

Java编码ASCII、GB2312、GBK、Unicode、UTF-8、UTF-16 编码方式详解
1 ASCII American Standard Code for Information Interchange.最早最通用的单字节编码系统,因为发明时间早,所以ASCII编码表的设计较为简单. ...
汉字编码（【Unicode】【UTF-8】【Unicode与UTF-8之间的转换】【汉字 Unicode 编码范围】【中文标点Unicode码】【GBK编码】【批量获取汉字UNICODE码】）
参考博客: Unicode与UTF-8互转(C语言实现):http://blog.csdn.net/tge7618291/article/details/7599902 汉字 Unicode 编码范围 ...
计算机编码方式详解（Unicode、UTF-8、UTF-16、ASCII）
整理这篇文章的动机是两个问题: 问题一: 使用Windows记事本的"另存为",可以在GBK.Unicode.Unicode big endian和UTF-8这几种编码方式间相互转 ...
Unicode中UTF-8与UTF-16编码详解
概述本文通过介绍Unicode编码以及对应的两种编码方式UTF-8和UTF-16,让读者能够了解关于字符串编码的相关知识,同时能够弄清楚Unicode和UTF-8和UTF-16之间的关系. 本文的主 ...
关于Unicode，UTF-8，GB编码详解
内容来自网络, 有部分修正一.首先我们需要明白关于字符(character),字符集(character set),字符编码方式(character encoding)的概念. 字符 :字符是抽象的 ...
java ucs2转utf8_Windows下Unicode(UCS2)，UTF8，GBK(GB2312)互转
Windows下提供了两个编码转换函数:WideCharToMultiByte和MultiByteToWideChar. 用它们可实现Unicode(UCS2),UTF8,GBK(GB2312)互转. ...
JS 字符串编码函数（解决URL特殊字符传递问题）：escape()、encodeURI()、encodeURIComponent()区别详解
JS 字符串编码函数(解决URL特殊字符传递问题):escape().encodeURI().encodeURIComponent()区别详解参考文章: (1)JS 字符串编码函数(解决URL特殊字 ...
js几种escape()解码与unescape()编码
js几种escape()解码与unescape()编码 www.111cn.net 编辑:kepeer 来源:转载一篇js几种escape()解码与unescape()编码函数,同时我们也和它和服务 ...
Escape/Unescape,HTML实体编码，敲击码(Tap code),摩尔斯电码(Morse Code)
1.Escape/Unescape 加密解码/编码解码,又叫%u编码,采用UTF-16BE模式, Escape编码/加密,就是字符对应UTF-16 16进制表示方式前面加%u.Unescape解码/解 ...
Unicode 码和汉字，十进制之间互转!二进制、十六进制，十进制的转换
2019独角兽企业重金招聘Python工程师标准>>> Unicode 码和汉字,十进制之间互转!二进制.十六进制,十进制的转换用法文档这里就不介绍了!直接上代码 package ...

记一次 unicode-escape 和 utf-8 编码的互解

记一次 unicode-escape 和 utf-8 编码的转换

记一次 unicode-escape 和 utf-8 编码的互解相关推荐

最新文章

热门文章