python 网络数据流打包与解包

详细文章请参考: https://blog.csdn.net/youand_me/article/details/78890316

这个模块处理python中常见类型数据和Python bytes之间转换。这可用于处理存储在文件或网络连接中的bytes数据以及其他来源。在python中没有专门处理字节的数据类型，建立字节型数据也比较麻烦，我们知道的bytes()函数也只能对无符号整型做处理，并且数据如下（没错，数字为多少就有多少个\x00，我们要是用这种方式来存储大量数据，结果可想而知）：

va = bytes(1) # va: '\x00'
vb = bytes(2) # vb: '\x00\x00'
vc = bytes(5) # vc: '\x00\x00\x00\x00\x00'

但在python中str类型中既可以用字符串表示也可以以字节方式表示，所以你定义一个字节型的字符串常量，python是能处理它的：

va = '\x26' # va: '&'

struct处理
字节顺序
一个数据有多个字节表示的时候，字节的顺序不同也就决定了值，在struct中有以下几种字节顺序：

字符	字节顺序	尺寸	对齐方式
@	本机	本机	本机
=	本机	标准	无
<	小端	标准	无
>	大端	标准	无
！	网络	标准	无

对于字节顺序，只有大端和小端两种方式，只是比如你用@和=代表你用本机的字节顺序，！代表你使用网络的字节顺序。你不指定字节顺序则默认的是@。

本地字节顺序是大端或小端，取决于主机系统。例如，Intel x86和AMD64（x86-64）是小端的; 摩托罗拉68000和PowerPC G5是大端; ARM和Intel Itanium具有可切换的字节序（双字节序）。使用sys.byteorder来检查你的系统的字节顺序。

数据格式
struct支持的打包解包的数据格式如下，我们需要指定格式才能对应处理，其中对应尺寸已列出（以字节为单位）：

打包
通过struct的pack(fmt, *args)来实现对各种数据的打包（转换为对应字节数据），pack的需要传递的参数fmt就是数据的格式，包括了字节顺序、数据类型；后面的*args参数是需要打包的数据。

vaa = struct.pack('>I', 1255)  # vaa: '\x00\x00\x04\xe7' 1*4=1个字节
vab = struct.pack('>II', 1255, 23)  # vab: '\x00\x00\x04\xe7\x00\x00\x00\x17' 2*4=8个字节
vac = struct.pack('>2I?', 1255, 23, True)  # vac: '\x00\x00\x04\xe7\x00\x00\x00\x17\x01' 2*4+1=9个字节

我们看上述三个使用例子（数据与数据之间没有填充，都是连续的，比如对于vac我们不知道它是由两个4字节无符号整型和一个布尔构成，我们就无法取得正确的值），看fmt参数：

‘>I’代表了以大端的字节顺序打包一个4字节无符号整型数据，所以后面只跟了一个无符号整型参数1255；

‘>II’代表了以大端的字节顺序打包两个4字节无符号整型数据，所以后面跟了两个个无符号整型参数1255和23；

‘>2I?’代表了以大端的字节顺序打包两个4字节无符号整型和一个布尔型数据，所以后面跟了两个个无符号整型参数1255、23和一个布尔值True。

注意’2I’和’II’，’4I’和’IIII’，’2?’和’??’是一样的效果。

解包
通过struct的unpack(fmt, string)来实现对字符串的解包，fmt和打包的是完全一样的，如下（返回的结果是一个元组）：

vaa = struct.pack('>I', 1255)  # vaa: '\x00\x00\x04\xe7'
vab = struct.pack('>II', 1255, 23)  # vab: '\x00\x00\x04\xe7\x00\x00\x00\x17'
vaaa = struct.unpack('>I', vaa)  # vaaa: <class 'tuple'>: (1255, )
vaba = struct.unpack('>II', vab)  # vaba: <class 'tuple'>: (1255, 23)

进阶使用
pack_into(fmt, buffer, offset, *args)

fmt参数和pack是一样的，buffer参数是可写的缓存区，offset是写入位置的偏移量，*args是需要写入的数据。这个有什么用呢，我们想想这样两个情况，我们有两个类型已经打包好，我们想在这两个已经打包好的数据后面再添加一个数据打包；或者我们要打包的数据很多，我们不可能在pack中把所有需要打包的数据都通过参数传递给pack，那你的pack函数可能得写成千上完个参数了。这时候我们就可以用到这个函数了。

要使用它必须要一个可以写入的缓存区，我们可以导入一个字符缓存区包，然后创建一个固定大小的缓存区（以字节为单位）：

import struct
from ctypes import create_string_buffer# 创建一个9字节大小的缓存区，初始化默认全部为\x00
buf = create_string_buffer(9)  # buf.raw: '\x00\x00\x00\x00\x00\x00\x00\x00\x00'# 冲缓存区buf的第0个字节开始打包两个4字节无符号整型数据1和2
struct.pack_into(">II", buf, 0, 1, 2)  #  buf.raw: '\x00\x00\x00\x01\x00\x00\x00\x02\x00'
# 然后我们想再打包一个布尔型数据到buf中就可以改变以下偏移量
struct.pack_into(">?", buf, 8, True)  # buf.raw: '\x00\x00\x00\x01\x00\x00\x00\x02\x01'

unpack_from(fmt, buffer, offset)和calcsize(fmt)结合解包数据

calcsize用于计算格式字符串所对应的结果的长度，如：struct.calcsize(‘II’)，返回8。因为两个无符号整型所占用的长度是8个字节。unpack_from(fmt, buffer, offset)用于从buffer缓存区中使用fmt格式从offset偏移量处开始解包fmt里对应数量的数据。

import struct
from ctypes import create_string_bufferbuf = create_string_buffer(9)
struct.pack_into(">II", buf, 0, 1, 2)
struct.pack_into(">?", buf, 8, True)

# 记录位置
pos = 0
# 从buf缓存区中以大端方式从偏移位置pos处解包两个无符号整型数据返回，注意
#返回值如果只写一个则返回一个元组，否则你解包几个数据就要写几个返回值。
val = struct.unpack_from('>II', buf, pos)  # val: <class 'tuple'>: (1, 2)
val_a, val_b = struct.unpack_from('>II', buf, pos)  # val_a: 1  val_b: 2# 重置解包位置
pos += struct.calcsize('>II')  # pos: 8
val_c, = struct.unpack_from('>?', buf, pos)  # val_c: True

打包字符串:

dataStr = "hello"

data = struct.pack('>5s', dataStr) 其中5表示字符串中字符的个数

---------------------

python 网络数据流打包与解包相关推荐

Python中的打包与解包
解包:Unpacking,比如你儿子去买包子回来分给你的家人. a, *b, c = [1, 2, 3, 4, 5] print(a) # 1 print(b) # [2, 3, 4] print( ...
《Python Cookbook 3rd》笔记（3.5）：字节到大整数的打包与解包
字节到大整数的打包与解包问题你有一个字节字符串并想将它解压成一个整数.或者,你需要将一个大整数转换为一个字节字符串. 解法假设你的程序需要处理一个拥有 128 位长的 16 个元素的字节字符串. ...
python正确的赋值语句-Python 赋值语句技巧之序列解包
python赋值语句技巧之序列解包sequence unpacking,是python语言赋值语句的一种技巧方法,在给多个python 变量命名同时赋值时是很有效率的一种方法. 赋值语句序列解包概念 ...
Lua学习教程之可变參数数据打包与解包
利用table的pack与unpack进行数据打包与解包.測试代码例如以下: print("Test table.pack()----------------");function ...
c语言 udp 解包_UDP打包及解包问题
UDP打包及解包问题 (2012-04-11 00:12:39) 标签: 打包包杂谈 UDP打包及解包问题第一个问题: 想问下在VC++开发平台下,是否提供了UDP协议打包和解包的接口函数?通常所 ...
python list tuple 打包解包_python的打包与解包
python的*与**,在函数的定义与调用过程中,有着不同的作用打包参数: 一.函数定义时,形参前加*号(如:*args):收集实参中所有的位置参数,打包成新元组并将该元组赋值给args变量实参位 ...
linux把文件复制到压缩包里,Linux学习笔记（二十）文件压缩 zip压缩、tar打包、打包、解包...
一.zip压缩首先安装zip与unzip yum install -y zip/unzip zip 1.txt.zip 1.txt 压缩文件1.txt,压缩文件名称为1.txt.zip zip -r ...
python函数映射教学,Python 序列与映射的解包操作
解包就是把序列或映射中每个元素单独提取出来,序列解包的一种简单用法就是把首个或前几个元素与后面几个元素分别提取出来,例如: first, seconde, *rest = sequence 如果seq ...
Python 序列与映射的解包操作
解包就是把序列或映射中每个元素单独提取出来,序列解包的一种简单用法就是把首个或前几个元素与后面几个元素分别提取出来,例如: first, seconde, *rest = sequence 如果seq ...

python 网络数据流打包与解包

python 网络数据流打包与解包相关推荐

最新文章

热门文章