Dbus中UMS统一消息格式

无论是增量、全量还是日志，最终输出到结果kafka中的消息都是我们约定的统一消息格式,称为UMS(unified message schema)格式。如下图所示：

Protocol
- 数据的类型，被UMS的版本号
schema
- namespace 由：类型. 数据源名.schema名 .表名.表版本号. 分库号 .分表号组成，能够描述所有表。
  - 例如：mysql.db1.schema1.testtable.5.0.0
- fields是字段名描述
  - ums_id_ 消息的唯一id，保证消息是唯一的
  - ums_ts_ canal捕获事件的时间戳；
  - ums_op_ 表明数据的类型是I (insert)，U (update)，B (before Update)，D(delete)
  - ums_uid_ 数据流水号，唯一值
payload是指具体的数据
- 一个json包里面可以包含1条至多条数据，提高数据的有效载荷。

Dbus中UMS统一消息格式相关推荐

wps斜杠日期格式_在WPS表格中轻松统一日期格式
平常办公中经常需要收集汇总下级各部门上报的数据表格.由于各部门输入人员并没有按统一标准格式输入日期,汇总数据之后往往会发现汇总数据中的日期有很多种格式.除了2009-2-3.1978年5月6日等标准格 ...
MQTT-SN协议乱翻之消息格式
前言紧接着上篇初步介绍,本文为第二篇,主要梳理MQTT-SN 1.2协议中定义的消息格式. 通用消息格式消息头其它可变部分 2/4字节表示 N字节组成消息头部长度消息类型 1或3个字节 1 ...
HTTP/1.1（消息格式、连接管理、条件请求、范围请求、缓存、身份验证）
文章目录概述消息格式开始行请求方法请求目标状态码头部字段消息体连接管理条件请求(Conditional Requests) 范围请求(Range Requests) 缓存(Cach ...
R语言将数据列中的多种日期格式统一变化为一种固定格式实战：使用lubridate包中的parse_date_time函数
R语言将数据列中的多种日期格式统一变化为一种固定格式实战:使用lubridate包中的parse_date_time函数目录
ROS消息格式-vision_msgs/Detection2DArray (后续创作中...)
1. 终端中查看消息格式 ➜ ~ rosmsg show vision_msgs/Detection2DArray std_msgs/Header header uint32 seqtime stam ...
Kafka消息格式中的变长字段（Varints）
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
在Word2016及以上版本中，如何统一查看文章全部的脚注内容？个别脚注被增删，脚注顺序错乱怎么办？从一个Word复制到另一个Word中后，原文中脚注序号的格式变大了如何改回正常？
一.在Word2016及以上版本中统一查看文章全部的脚注内容操作:视图--草稿视图--引用--显示备注效果如下: 二.个别脚注被增删,脚注顺序错乱怎么办操作:在上一步操作基础上,光标停在脚注区 ...
kafka之消息格式
kafka之消息格式 - 爱码网文章目录Kafka版本消息格式V0版本V1版本Message SetV0与V1的缺陷V2版本Kafka版本kafka版本1.1.1,可能绝大部分也适用于kafka 0. ...
Spring Boot 无侵入式实现 API 接口统一 JSON 格式返回
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 无侵入式统一返回JSON格式其实本没有没打算写这篇博客 ...
[Web API] 如何让 Web API 统一回传格式以及例外处理[转]
[Web API] 如何让 Web API 统一回传格式以及例外处理前言当我们在开发 Web API 时,一般的情况下每个 API 回传的数据型态或格式都不尽相同,如果你的项目从头到尾都是由你一个 ...

Dbus中UMS统一消息格式

Dbus中UMS统一消息格式相关推荐

最新文章

热门文章