业务场景

公司有个借贷的项目,具体业务类似于阿里的蚂蚁借呗,用户在平台上借款,然后规定一个到期时间,在该时间内用户需将借款还清并收取一定的手续费,如果规定时间逾期未还上,则会产生滞纳金。

用户发起借款因此会产生一笔借款订单,用户可通过支付宝或在系统中绑定银行卡到期自动扣款等方式进行还款。还款流程都走支付系统,因此用户还款是否逾期以及逾期天数、逾期费等都通过系统来计算。

但是在做订单系统的时候,遇到这样一个业务场景,由于业务原因允许用户通过线下支付宝还款,即我们提供一个公司官方的支付宝二维码,用户扫码还款,然后财务不定期的去拉取该支付宝账户下的还款清单并生成规范化的Excel表格录入到支付系统。

支付系统将这些支付信息生成对应的支付订单并落库,同时针对每笔还款记录生产一个消息信息到消息系统,消息的消费者就是订单系统。订单系统接受到消息后去结算当前用户的金额清算:先还本金,本金还清再还滞纳金,都还清则该笔订单结清并提升可借贷额度,……,整个流程大致如下:

从上面的流程描述可以知道,相当于原来线上的支付现在转移到线下进行,这会产生一个问题:支付结算的不及时。例如用户的订单在今天19-05-27到期,但是用户在19-05-26还清,财务在19-05-27甚至更晚的时候从支付宝拉取清单录入支付系统。这样就造成了实际上用户是未逾期还清借款而我们这边却记录的是用户未还清且产生了滞纳金。

当然以上的是业务范畴的问题,我们今天要说的是支付系统发送消息到订单系统的环节中的一个问题。大家都知道为了避免消息丢失或者订单系统处理异常或者网络问题等问题,我们设计消息系统的时候都需要考虑消息持久化和消息的失败重试机制。

对于重试机制,假如订单系统消费了消息,但是由于网络等问题消息系统未收到反馈是否已成功处理。这时消息系统会根据配置的规则隔段时间就 retry 一次。你 retry 一次没错,是为了保证系统的处理正常性,但是如果这时网络恢复正常,我第一次收到的消息成功处理了,这时我又收到了一条消息,如果没有做一些防护措施,会产生如下情况:用户付款一次但是订单系统计算了两次,这样会造成财务账单异常对不上账的情况发生。那就可能用户笑呵呵老板哭兮兮了。

2|0接口幂等性

为了防止上述情况的发生,我们需要提供一个防护措施,对于同一笔支付信息如果我其中某一次处理成功了,我虽然又接收到了消息,但是这时我不处理了,即保证接口的 幂等性

维基百科上的定义:

幂等(idempotent、idempotence)是一个数学与计算机学概念,常见于抽象代数中。

在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数,或幂等方法,是指可以使用相同参数重复执行,并能获得相同结果的函数。这些函数不会影响系统状态,也不用担心重复执行会对系统造成改变。例如,“setTrue()”函数就是一个幂等函数,无论多次执行,其结果都是一样的,更复杂的操作幂等保证是利用唯一交易号(流水号)实现.

任意多次执行所产生的影响均与一次执行的影响相同,这是幂等性的核心特点。其实在我们编程中主要操作就是CURD,其中读取(Retrieve)操作和删除(Delete)操作是天然幂等的,受影响的就是创建(Create)、更新(Update)。

对于一些业务场景影响比较大的,接口的幂等性是个必须要考虑的问题,例如金钱的交易方面的接口。否则一个错误的、考虑不周的接口可能会给公司带来巨额的金钱损失,那么背锅的肯定是程序员自己了。

3|0幂等性实现方式

对于和web端交互的接口,我们可以在前端拦截一部分,例如防止表单重复提交,按钮置灰、隐藏、不可点击等方式。

但是前端做控制实际效益不是很高,懂点技术的都会模拟请求调用你的服务,所以安全的策略还是需要从后端的接口层来做。

那么后端要实现分布式接口的幂等性有哪些策略方式呢?主要可以从以下几个方面来考虑实现:

3|1数据库去重表

往去重表里插入数据的时候,利用数据库的唯一索引特性,保证唯一的逻辑。唯一序列号可以是一个字段,例如订单的订单号,也可以是多字段的唯一性组合。例如设计如下的数据库表。

CREATE TABLE `t_idempotent` (`id` int(11) NOT NULL COMMENT 'ID', `serial_no` varchar(255) NOT NULL COMMENT '唯一序列号', `source_type` varchar(255) DEFAULT NULL COMMENT '资源类型', `status` int(4) DEFAULT NULL COMMENT '状态', `remark` varchar(255) DEFAULT NULL COMMENT '备注', `create_by` bigint(20) DEFAULT NULL COMMENT '创建人', `create_time` datetime DEFAULT NULL COMMENT '创建时间', `modify_by` bigint(20) DEFAULT NULL COMMENT '修改人', `modify_time` datetime DEFAULT NULL COMMENT '修改时间', PRIMARY KEY (`id`) UNIQUE KEY `key_s` (`serial_no`,`source_type`) COMMENT '保证业务唯一性' ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='幂等性校验表';

看几个关键性字段,serial_no:唯一序列号的值,在这里我设置的是通过注解@IdempotentKey来标识请求对象中的字段,通过对他们Md5加密获取对应的值。

public class PaymentOrderReq { /** * 支付宝流水号 */ @IdempotentKey(order=1) private String alipayNo; /** * 支付订单ID */ @IdempotentKey(order=2) private String paymentOrderNo; /** * 支付金额 */ private Long amount; }

因为支付宝流水号和订单号在系统中是唯一的,所以唯一序列号可由他们组合 Md5 生成,具体的生成方式如下:

private void getIdempotentKeys(Object keySource, Idempotent idempotent) { TreeMap<Integer, Object> keyMap = new TreeMap<Integer, Object>(); for (Field field : keySource.getClass().getDeclaredFields()) { if (field.isAnnotationPresent(IdempotentKey.class)) { try { field.setAccessible(true); keyMap.put(field.getAnnotation(IdempotentKey.class).order(), field.get(keySource)); } catch (IllegalArgumentException | IllegalAccessException e) { logger.error("", e); return; } } } generateIdempotentKey(idempotent, keyMap.values().toArray()); }

生成幂等Key

private void generateIdempotentKey(Idempotent idempotent, Object... keyObj) { if (keyObj.length == 0) { logger.info("idempotentkey is empty,{}", keyObj); return; } StringBuilder sb = new StringBuilder(); for (Object key : keyObj) { sb.append(key.toString()).append("|"); } idempotent.setRemark(sb.toString()); idempotent.setSerialNo(Md5Util.md5(sb.toString())); }

一切准备就绪,则可对外提供幂等性校验的接口方法,接口方法为:

public <T> void idempotentCheck(IdempotentTypeEnum idempotentType, T keyObj) throws IdempotentException { Idempotent idempotent = new Idempotent(); getIdempotentKeys(keyObj, idempotent ); if (StringUtils.isBlank(idempotent.getSerialNo())) { throw new ServiceException("fail to get idempotentkey"); } idempotentEvent.setSourceType(idempotentType.name()); try { idempotentMapper.saveIdempotent(idempotent); } catch (DuplicateKeyException e) { logger.error("idempotent check fail", e); throw new IdempotentException(idempotent); } }

当然这个接口的方法具体在项目中合理的使用就看项目要求了,可以通过@Autowire注解注入到需要使用的地方,但是缺点就是每个地方都需要调用。我个人推荐的是自定义一个注解,在需要幂等性保证的接口上加上该注解,然后通过拦截器方法拦截使用。这样简单便不会造成代码侵入和污染。

另外,使用数据库防重表的方式它有个严重的缺点,那就是系统容错性不高,如果幂等表所在的数据库连接异常或所在的服务器异常,则会导致整个系统幂等性校验出问题。如果做数据库备份来防止这种情况,又需要额外忙碌一通了啊。

3|2Redis实现

上面介绍过防重表的设计方式和伪代码,也说过它的一个很明显的缺点。所以我们另外介绍一个Redis的实现方式。

Redis实现的方式就是将唯一序列号作为Key,唯一序列号的生成方式和上面介绍的防重表的一样,value可以是你想填的任何信息。唯一序列号也可以是一个字段,例如订单的订单号,也可以是多字段的唯一性组合。具体校验流程如下图所示,实现代码也很简单这里就不写了。

由于企业如果考虑在项目中使用 Redis,因为大部分会拿它作为缓存来使用,那么一般都会是集群的方式出现,至少肯定也会部署两台Redis服务器。所以我们使用Redis来实现接口的幂等性是最适合不过的了。

转载于:https://www.cnblogs.com/ZenoLiang/p/10941157.html

分布式系统中接口的幂等性(转)相关推荐

  1. 【通用设计】分布式系统中接口的幂等性

    阅读目录 业务场景 接口幂等性 幂等性实现方式 Token机制 数据库去重表 Redis实现 状态机 总结 业务场景 公司有个借贷的项目,具体业务类似于阿里的蚂蚁借呗,用户在平台上借款,然后规定一个到 ...

  2. 分布式系统中接口的幂等性

    业务场景 公司有个借贷的项目,具体业务类似于阿里的蚂蚁借呗,用户在平台上借款,然后规定一个到期时间,在该时间内用户需将借款还清并收取一定的手续费,如果规定时间逾期未还上,则会产生滞纳金. 用户发起借款 ...

  3. 【案例分析】分布式系统的接口幂等性设计!

    概念 幂等性, Idempotence, 这个词来源自数学领域, 百科 上一元运算的幂等性解释如下:设 f 为一由 {x} 映射至 {x} 的一元运算, 则 f 为幂等的, 当对于所有在 {x} 内的 ...

  4. 分布式系统中的幂等性(客户端与服务端的交易一致性,避免多次扣款)

    原文Zookeeper与Dubbo | 什么是分布式系统中的幂等性 结合支付防重设计一起看 ZooKeeper是一种分布式协调服务,他用简单的架构和API,解决了在分布式环境中协调和管理服务的难题. ...

  5. java中接口幂等性解决方案总结

    一.概念 一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同.幂等函数,或幂等方法,是指可以使用相同参数重复执行,并能获得相同结果的函数.这些函数不会影响系统状态,也不用担心重复执行 ...

  6. 深入分析分布式系统中互斥性与幂等性问题

    本文来源:tech.meituan.com 前言 随着互联网信息技术的飞速发展,数据量不断增大,业务逻辑也日趋复杂,对系统的高并发访问.海量数据处理的场景也越来越多.如何用较低成本实现系统的高可用.易 ...

  7. 分布式系统中的幂等性

    分布式系统中的幂等性 分布式系统中的幂等性 1.幂等性介绍 2.幂等性场景 3.crud操作的幂等性分析 4.如何解决幂等性问题 分布式系统中的幂等性 1.幂等性介绍 幂等的概念来自数学,比如对于一元 ...

  8. 分布式系统互斥性与幂等性问题的分析与解决

    点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章 作者:zdy0_2004 blog.csdn.net/zdy0_2 ...

  9. 如何保证接口的幂等性?

    什么是幂等性?所谓幂等,就是任意多次执行所产生的影响均与一次执行的影响相同. 为什么会产生接口幂等性问题 在计算机应用中,可能遇到网络抖动,临时故障,或者服务调用失败,尤其是分布式系统中,接口调用失败 ...

最新文章

  1. 2018年数据中心行业三大发展趋势
  2. mysql 优化20点
  3. w3ctech 2011 北京站(组图)
  4. grep、sed命令使用记录
  5. html中select标签乱码,select 的过程中中文乱码有关问题求教
  6. 工程实践:给函数取一个好的名字
  7. Java语言程序设计 基础篇 编程练习题 12.7
  8. SQL Server 2008 示例库 AdventureWorks2008R2
  9. Java学习分享---【面向对象基础】抽象
  10. Spring Boot 2 基础篇学习笔记
  11. 分布式搜索引擎es原理
  12. 桌面右键新建菜单管理
  13. 计算机二级第一次考试不及格有没有影响,计算机二级还没有过吗?
  14. (小甲鱼python)集合笔记合集一 集合(上)总结 集合的简单用法 集合的各种方法合集:子、交、并、补、差、对称差集、超集
  15. Ubuntu16.04 + Geforce GT630 OEM安装cuda 8.0
  16. 【Flutter】如何完成一个透明沉浸式状态栏
  17. Windows XP运行命令
  18. 攻防世界-leaking-(详细操作)做题过程
  19. C语言程序设计:猜数游戏
  20. 抖音html数字9,抖音687是什么意思

热门文章

  1. 微信小程序 - 实现左右菜单联动功能
  2. 一位老程序员的心里话,句句戳心,让我找到了正确的生活方式
  3. 珠海那个城市!飘着我所有的快乐
  4. 利用MS计算水分子的径向分布和扩散系数
  5. 网络编程中Nagle算法和Delayed ACK的测试(转)
  6. WPF MahApps 设置TabItem字体大小
  7. 计蒜客 烦恼的高考志愿题解
  8. Vscode连接远程服务器(一套配置成功)
  9. 李蕾声优课全集听课笔记(持续更新ing...)
  10. 全国青少年软件编程(Python)等级考试一级考试真题2023年5月——持续更新.....