libhv教程14--200行实现一个纯C版jsonrpc框架
使用libhv可以在200行内实现一个完整的jsonrpc框架,这得益于libhv新提供的一个接口
hio_set_unpack
设置拆包规则,支持固定包长、分隔符、头部长度字段
三种常见的拆包方式,调用该接口设置拆包规则后,内部会根据拆包规则处理粘包与分包,保证回调上来的是完整的一包数据,大大节省了上层处理粘包与分包的成本,该接口具体定义如下:
typedef enum {UNPACK_BY_FIXED_LENGTH = 1, // 根据固定长度拆包UNPACK_BY_DELIMITER = 2, // 根据分隔符拆包,如常见的“\r\n”UNPACK_BY_LENGTH_FIELD = 3, // 根据头部长度字段拆包
} unpack_mode_e;#define DEFAULT_PACKAGE_MAX_LENGTH (1 << 21) // 2M// UNPACK_BY_DELIMITER
#define PACKAGE_MAX_DELIMITER_BYTES 8// UNPACK_BY_LENGTH_FIELD
typedef enum {ENCODE_BY_VARINT = 1, // varint编码ENCODE_BY_LITTEL_ENDIAN = LITTLE_ENDIAN, // 小端编码ENCODE_BY_BIG_ENDIAN = BIG_ENDIAN, // 大端编码
} unpack_coding_e;typedef struct unpack_setting_s {unpack_mode_e mode; // 拆包模式unsigned int package_max_length; // 最大包长度限制// UNPACK_BY_FIXED_LENGTHunsigned int fixed_length; // 固定包长度// UNPACK_BY_DELIMITERunsigned char delimiter[PACKAGE_MAX_DELIMITER_BYTES]; // 分隔符unsigned short delimiter_bytes; // 分隔符长度// UNPACK_BY_LENGTH_FIELDunsigned short body_offset; // body偏移量(即头部长度)real_body_offset = body_offset + varint_bytes - length_field_bytesunsigned short length_field_offset; // 头部长度字段偏移量unsigned short length_field_bytes; // 头部长度字段所占字节数unpack_coding_e length_field_coding; // 头部长度字段编码方式,支持varint、大小端三种编码方式,通常使用大端字节序(即网络字节序)
#ifdef __cplusplusunpack_setting_s() {// Recommended setting:// head = flags:1byte + length:4bytes = 5bytesmode = UNPACK_BY_LENGTH_FIELD;package_max_length = DEFAULT_PACKAGE_MAX_LENGTH;fixed_length = 0;delimiter_bytes = 0;body_offset = 5;length_field_offset = 1;length_field_bytes = 4;length_field_coding = ENCODE_BY_BIG_ENDIAN;}
#endif
} unpack_setting_t;HV_EXPORT void hio_set_unpack(hio_t* io, unpack_setting_t* setting);
以ftp
为例(分隔符方式)可以这样设置:
unpack_setting_t ftp_unpack_setting;
memset(&ftp_unpack_setting, 0, sizeof(unpack_setting_t));
ftp_unpack_setting.package_max_length = DEFAULT_PACKAGE_MAX_LENGTH;
ftp_unpack_setting.mode = UNPACK_BY_DELIMITER;
ftp_unpack_setting.delimiter[0] = '\r';
ftp_unpack_setting.delimiter[1] = '\n';
ftp_unpack_setting.delimiter_bytes = 2;
以mqtt
为例(头部长度字段方式)可以这样设置:
unpack_setting_t mqtt_unpack_setting = {.mode = UNPACK_BY_LENGTH_FIELD,.package_max_length = DEFAULT_PACKAGE_MAX_LENGTH,.body_offset = 2,.length_field_offset = 1,.length_field_bytes = 1,.length_field_coding = ENCODE_BY_VARINT,
};
具体实现代码在event/unpack.c中,在内部readbuf
的基础上直接原地拆包与组包,基本做到零拷贝,比抛给上层处理更高效,感兴趣的可以研究一下。
示例代码
见examples/jsonrpc
/** json rpc server** @build make jsonrpc* @server bin/jsonrpc_server 1234* @client bin/jsonrpc_client 127.0.0.1 1234 add 1 2**/#include "hloop.h"
#include "hbase.h"
#include "hsocket.h"#include "cJSON.h"
#include "router.h"
#include "handler.h"// hloop_create_tcp_server -> on_accept -> hio_read -> on_recv -> hio_writestatic int verbose = 0;
static unpack_setting_t jsonrpc_unpack_setting;jsonrpc_router router[] = {{"add", calc_add},{"sub", calc_sub},{"mul", calc_mul},{"div", calc_div},
};
#define JSONRPC_ROUTER_NUM (sizeof(router)/sizeof(router[0]))static void on_close(hio_t* io) {printf("on_close fd=%d error=%d\n", hio_fd(io), hio_error(io));
}static void on_recv(hio_t* io, void* readbuf, int readbytes) {// printf("on_recv fd=%d readbytes=%d\n", hio_fd(io), readbytes);if (verbose) {char localaddrstr[SOCKADDR_STRLEN] = {0};char peeraddrstr[SOCKADDR_STRLEN] = {0};printf("[%s] <=> [%s]\n",SOCKADDR_STR(hio_localaddr(io), localaddrstr),SOCKADDR_STR(hio_peeraddr(io), peeraddrstr));}// cJSON_Parse -> router -> cJSON_Print -> hio_writechar* req_str = (char*)readbuf;printf("> %s\n", req_str);cJSON* jreq = cJSON_Parse(req_str);cJSON* jres = cJSON_CreateObject();cJSON* jid = cJSON_GetObjectItem(jreq, "id");cJSON* jmethod = cJSON_GetObjectItem(jreq, "method");if (cJSON_IsNumber(jid)) {long id = cJSON_GetNumberValue(jid);cJSON_AddItemToObject(jres, "id", cJSON_CreateNumber(id));}if (cJSON_IsString(jmethod)) {// routerchar* method = cJSON_GetStringValue(jmethod);bool found = false;for (int i = 0; i < JSONRPC_ROUTER_NUM; ++i) {if (strcmp(method, router[i].method) == 0) {found = true;router[i].handler(jreq, jres);break;}}if (!found) {not_found(jreq, jres);}} else {bad_request(jreq, jres);}char* resp_str = cJSON_PrintUnformatted(jres);printf("< %s\n", resp_str);// NOTE: +1 for \0hio_write(io, resp_str, strlen(resp_str) + 1);cJSON_Delete(jreq);cJSON_Delete(jres);cJSON_free(resp_str);
}static void on_accept(hio_t* io) {printf("on_accept connfd=%d\n", hio_fd(io));if (verbose) {char localaddrstr[SOCKADDR_STRLEN] = {0};char peeraddrstr[SOCKADDR_STRLEN] = {0};printf("accept connfd=%d [%s] <= [%s]\n", hio_fd(io),SOCKADDR_STR(hio_localaddr(io), localaddrstr),SOCKADDR_STR(hio_peeraddr(io), peeraddrstr));}hio_setcb_close(io, on_close);hio_setcb_read(io, on_recv);hio_set_unpack(io, &jsonrpc_unpack_setting);hio_read(io);
}int main(int argc, char** argv) {if (argc < 2) {printf("Usage: %s port\n", argv[0]);return -10;}int port = atoi(argv[1]);// init jsonrpc_unpack_settingmemset(&jsonrpc_unpack_setting, 0, sizeof(unpack_setting_t));jsonrpc_unpack_setting.mode = UNPACK_BY_DELIMITER;jsonrpc_unpack_setting.package_max_length = DEFAULT_PACKAGE_MAX_LENGTH;jsonrpc_unpack_setting.delimiter[0] = '\0';jsonrpc_unpack_setting.delimiter_bytes = 1;hloop_t* loop = hloop_new(0);hio_t* listenio = hloop_create_tcp_server(loop, "0.0.0.0", port, on_accept);if (listenio == NULL) {return -20;}printf("listenfd=%d\n", hio_fd(listenio));hloop_run(loop);hloop_free(&loop);return 0;
}
关键函数
- hloop_new:创建事件循环
- hloop_run: 运行事件循环
- hloop_create_tcp_server:创建TCP服务
- hio_set_unpack:设置拆包规则
- hio_read:开始接收数据
- hio_write: 发送数据
- cJSON_xxx:json编解码
测试步骤
git clone https://github.com/ithewei/libhv
cd libhv
make jsonrpc
# mkdir build && cd build && cmake .. && cmake --build . --target jsonrpc
bin/jsonrpc_server 1234
bin/jsonrpc_client 127.0.0.1 1234 add 1 2
bin/jsonrpc_client 127.0.0.1 1234 div 1 0
bin/jsonrpc_client 127.0.0.1 1234 xyz 1 2
结果如下:
服务端:
$ bin/jsonrpc_server 1234
listenfd=4
on_accept connfd=7
> {"id":1,"method":"add","params":[1,2]}
< {"id":1,"result":3}
on_close fd=7 error=0
客户端:
$ bin/jsonrpc_client 127.0.0.1 1234 add 1 2
on_connect fd=4
> {"id":1,"method":"add","params":[1,2]}
< {"id":1,"result":3}
on_close fd=4 error=0
$ bin/jsonrpc_client 127.0.0.1 1234 div 1 0
on_connect fd=4
> {"id":1,"method":"div","params":[1,0]}
< {"id":1,"error":{"code":400,"message":"Bad Request"}}
on_close fd=4 error=0
$ bin/jsonrpc_client 127.0.0.1 1234 xyz 1 2
on_connect fd=4
> {"id":1,"method":"xyz","params":[1,2]}
< {"id":1,"error":{"code":404,"message":"Not Found"}}
on_close fd=4 error=0
libhv教程14--200行实现一个纯C版jsonrpc框架相关推荐
- 爬虫python代码-Python爬虫教程:200行代码实现一个滑动验证码
Python爬虫教程:教你用200行代码实现一个滑动验证码 做网络爬虫的同学肯定见过各种各样的验证码,比较高级的有滑动.点选等样式,看起来好像挺复杂的,但实际上它们的核心原理还是还是很清晰的,本文章大 ...
- 前端 验证码隐藏怎么实现_Python爬虫教程:200行代码实现一个滑动验证码
Python爬虫教程:教你用200行代码实现一个滑动验证码 做网络爬虫的同学肯定见过各种各样的验证码,比较高级的有滑动.点选等样式,看起来好像挺复杂的,但实际上它们的核心原理还是还是很清晰的,本文章大 ...
- python爬虫代码-Python爬虫教程:200行代码实现一个滑动验证码
Python爬虫教程:教你用200行代码实现一个滑动验证码 做网络爬虫的同学肯定见过各种各样的验证码,比较高级的有滑动.点选等样式,看起来好像挺复杂的,但实际上它们的核心原理还是还是很清晰的,本文章大 ...
- 详解200行Python代码实现控制台版2048【总有一款坑适合你】【超详细】
跟着实验楼学习了2048的Python实现,先丢个地址 200行Python代码实现2048 我接触Python时间不长,只了解一些基本的语法和容器,在学习的过程中遇到不少问题,这里做一个记录. cu ...
- 很多小伙伴不太了解ORM框架的底层原理,这不,冰河带你10分钟手撸一个极简版ORM框架(赶快收藏吧)
大家好,我是冰河~~ 最近很多小伙伴对ORM框架的实现很感兴趣,不少读者在冰河的微信上问:冰河,你知道ORM框架是如何实现的吗?比如像MyBatis和Hibernate这种ORM框架,它们是如何实现的 ...
- libhv教程19--MQTT的实现与使用
MQTT(消息队列遥测传输)是ISO 标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议.它工作在TCP/IP协议族上,是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的 ...
- js websocket同步等待_WebSocket硬核入门:200行代码,教你徒手撸一个WebSocket服务器...
本文原题"Node.js - 200 多行代码实现 Websocket 协议",为了提升内容品质,有较大修订. 1.引言 最近正在研究 WebSocket 相关的知识,想着如何能自 ...
- 200行代码构建一个区块链
区块链的基本概念非常简单:一个存储不断增加的有序记录的分布式数据库.然而,当我们谈论区块链时,我们很容易将其与区块链要解决的问题混淆,比如误解为流行的,基于区块链的,像比特币和以太坊一样的项目.术语& ...
- python换脸教程_教你如何用200行Python代码“换脸”教程
原标题:教你如何用200行Python代码"换脸"教程 本文将介绍如何编写一个只有200行的Python脚本,为两张肖像照上人物的"换脸". 这个过程可分为四步 ...
最新文章
- 【Python自学笔记】10个爬虫入门实例,附源码与注释
- 心急如焚!程序员拥有 2.2 亿美元巨款,却想不起密码
- Hibernate的get()与load()方法
- 【ASP】Menu菜单导航
- 统计字符串中单词个数
- Ubuntu系统中利用Sublime分别运行Python与Python3
- php mongo sort -1出错,mongoDB排序引起的ERROR
- thinkphp 模板 php函数调用,thinkphp模版调用函数方法
- pip安装软件 Command “python setup.py egg_info“ failed with error code 1 in
- 计算机网络教程三次握手,计算机网络(二) TCP协议的三次握手
- 2021年上半年软考网络工程师考试下午真题及答案解析
- Link方式安装eclipse插件
- 【BZOJ5457】城市(线段树合并)
- WCF+Restfull服务 提交或获取数据时数据大小限制问题解决方案
- dynamips常用命令
- 开始学习鸟哥的Linux私房菜-基础篇(第五章)
- JSONObject 与 JSON 互转
- IntelliJ IDEA自动引入jar包
- P3456 [POI2007]GRZ-Ridges and Valleys
- oracle的left join和inner join的区别