对开发接口服务的一些总结
博主之前做过恒丰银行代收付系统(相当于支付接口),包括现在的oltpapi交易接口和虚拟业务的对外提供数据接口。总之,当你做了很多项目写了很多代码的时候,就需要回过头来,多总结总结,这样你会看到更多之前写代码的时候看不到的东西,也能更明白为什么要这样做。
做接口需要考虑的问题
什么是接口
接口无非就是客户端请求你的接口地址,并传入一堆该接口定义好的参数,通过接口自身的逻辑处理,返回接口约定好的数据以及相应的数据格式。
接口怎么开发
接口由于本身的性质,由于和合作方对接数据,所以有以下几点需要在开发的时候注意:
- 定义接口入参:写好接口文档
- 定义接口返回数据类型:一般都需要封装成一定格式,确定返回json还是xml报文等
见如下返回数据定义格式:
package com.caiex.vb.model;import java.io.Serializable;
import javax.xml.bind.annotation.XmlAccessType;
import javax.xml.bind.annotation.XmlAccessorType;
import javax.xml.bind.annotation.XmlType;@XmlAccessorType(XmlAccessType.FIELD)
@XmlType(name = "Result", propOrder = { "resultCode", "resultMsg" })
public class Result implements Serializable {private static final long serialVersionUID = 10L;protected int resultCode;protected String resultMsg;public int getResultCode() {return this.resultCode;}public void setResultCode(int value) {this.resultCode = value;}public String getResultMsg() {return this.resultMsg;}public void setResultMsg(String value) {this.resultMsg = value;}
}
package com.caiex.vb.model;import java.io.Serializable;public class Response implements Serializable {private static final long serialVersionUID = 2360867989280235575L;private Result result;private Object data;public Result getResult() {if (this.result == null) {this.result = new Result();}return result;}public void setResult(Result result) {this.result = result;}public Object getData() {return data;}public void setData(Object data) {this.data = data;}}
3.确定访问接口的方式,get or post等等,可以根据restful接口定义规则RESTful API:RESTful API
4.定义一套全局统一并通用的返回码,以帮助排查问题;
reponse codepublic static int NO_AGENT_RATE = 1119; //未找到兑换率public static int SCHEME_COMMIT_FAIL = 4000; //方案提交失败public static int SCHEME_CONFIRMATION = 4001; //方案确认中public static int SCHEME_NOT_EXIST = 4002; //方案不存在public static int SCHEME_CANCEL= 4005; //方案不存在//。。。。
5.统一的异常处理:应该每个系统都需要一套统一的异常处理
package com.caiex.vb.interceptor;import javax.servlet.http.HttpServletRequest;import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.web.bind.annotation.ControllerAdvice;
import org.springframework.web.bind.annotation.ExceptionHandler;
import org.springframework.web.bind.annotation.ResponseBody;import com.caiex.vb.model.Response;@ControllerAdvice
@ResponseBody
public class GlobalExceptionHandler {private Logger logger = LoggerFactory.getLogger(this.getClass()); /*** 所有异常报错* @param request* @param exception* @return* @throws Exception*/@ExceptionHandler(value=Exception.class) public Response allExceptionHandler(HttpServletRequest request, Exception exception) throws Exception { logger.error("拦截到异常:", exception);Response response = new Response();response.setData(null);response.getResult().setResultCode(9999);response.getResult().setResultMsg("系统繁忙");return response; } }
6.拦截器链设置:合作方访问接口的时候,会根据你接口定义好的传参访问你的接口服务器,但是会存在接口参数类型错误或者格式不对,必传参数没传的问题,甚至一些恶意请求,都可以通过拦截器链进行前期拦截,避免造成接口服务的压力。还有很重要的一点,加签验签也可以在拦截器设置。继承WebMvcConfigurerAdapter实现springboot的拦截器链。实现HandlerInterceptor方法编写业务拦截器。
package com.caiex.vb.interceptor;import javax.annotation.Resource;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;import org.apache.commons.lang3.StringUtils;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.springframework.stereotype.Component;
import org.springframework.web.servlet.HandlerInterceptor;
import org.springframework.web.servlet.ModelAndView;import com.alibaba.fastjson.JSON;
import com.caiex.redis.service.api.RedisApi;
import com.caiex.vb.model.Response;
import com.caiex.vb.utils.CaiexCheckUtils;@Component
public class SignInterceptor extends BaseValidator implements HandlerInterceptor{private Logger logger = LogManager.getLogger(this.getClass());@Resourceprivate RedisApi redisApi;public void afterCompletion(HttpServletRequest arg0,HttpServletResponse arg1, Object arg2, Exception arg3)throws Exception {// TODO Auto-generated method stub}public void postHandle(HttpServletRequest arg0, HttpServletResponse arg1,Object arg2, ModelAndView arg3) throws Exception {// TODO Auto-generated method stub}public boolean preHandle(HttpServletRequest arg0, HttpServletResponse arg1,Object arg2) throws Exception {if(isTestIpAddr(arg0)){return true;}String securityKey = redisApi.hGet("securityKey", arg0.getParameter("agentid"));if(StringUtils.isEmpty(securityKey)){Response response = new Response();response.setData(null);response.getResult().setResultCode(8001);response.getResult().setResultMsg("缺少私钥, 渠道号:" + arg0.getParameter("agentid"));logger.error("缺少私钥, 渠道号:" + arg0.getParameter("agentid"));InterceptorResp.printJson(arg1, response);return false;}if(StringUtils.isEmpty(arg0.getParameter("sign")) || !arg0.getParameter("sign").equals(CaiexCheckUtils.getSign(arg0.getParameterMap(), securityKey))){Response response = new Response();response.setData(null);response.getResult().setResultCode(3203);response.getResult().setResultMsg("参数签名认证失败");logger.error("参数签名认证失败:" + JSON.toJSONString(arg0.getParameterMap()) + " securityKey = " + securityKey);InterceptorResp.printJson(arg1, response);return false;}else{return true;}}}
package com.caiex.oltp.config;import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;
import org.springframework.web.servlet.config.annotation.EnableWebMvc;
import org.springframework.web.servlet.config.annotation.InterceptorRegistry;
import org.springframework.web.servlet.config.annotation.WebMvcConfigurerAdapter;import com.caiex.oltp.interceptor.APILimitRateValidator;
import com.caiex.oltp.interceptor.CommonValidator;
import com.caiex.oltp.interceptor.DDSAuthValidator;
import com.caiex.oltp.interceptor.QueryPriceParamsValidator;
import com.caiex.oltp.interceptor.TradeParamsValidator;@EnableWebMvc
@Configuration
@ComponentScan
public class WebAppConfigurer extends WebMvcConfigurerAdapter {@BeanCommonValidator commonInterceptor() {return new CommonValidator();}@BeanDDSAuthValidator ddsAuthInterceptor() {return new DDSAuthValidator();}@BeanQueryPriceParamsValidator queryPriceParamsInterceptor() {return new QueryPriceParamsValidator();}@BeanTradeParamsValidator tradeParamsInterceptor() {return new TradeParamsValidator();}@BeanAPILimitRateValidator aPILimitRateInterceptor() {return new APILimitRateValidator();}@Overridepublic void addInterceptors(InterceptorRegistry registry) {//访问速率限制registry.addInterceptor(aPILimitRateInterceptor()).addPathPatterns("/*/*");//.addPathPatterns("/price/getPriceParam");//参数签名认证registry.addInterceptor(ddsAuthInterceptor()).addPathPatterns("/tradeState/*").addPathPatterns("/recycle/*").addPathPatterns("/matchInfo/*").addPathPatterns("/price/tradeTicketParam");//公共参数检查registry.addInterceptor(commonInterceptor()).addPathPatterns("/price/tradeTicketParam").addPathPatterns("/tradeState/*").addPathPatterns("/recycle/*");//询价参数校验registry.addInterceptor(queryPriceParamsInterceptor()).addPathPatterns("/price/getPriceParam");//交易参数检查registry.addInterceptor(tradeParamsInterceptor()).addPathPatterns("/price/tradeTicketParam");super.addInterceptors(registry);}
}
7.token令牌和sign数字签名实现数据保密性。
创建令牌(Token)
为保证请求的合法性,我们提供第三方创建令牌接口,某些接口需要通过token验证消息的合法性,以免遭受非法攻击。
token过期时间目前暂时定为1天,由于考虑到合作方往往是分布式环境,多台机器都有可能申请token,为了降低合作方保证token一致性的难度,调用接口创建token成功以后一分钟以内,再次请求token返回的数据是一样的。
获取私钥
获取用于数字签名的私钥,第三方获取的私钥需妥善保存,并定期更新,私钥只参与数字签名,不作为参数传输。
数字签名方式:
参数签名;签名方式:所有值不为null的参数(不包括本参数)均参与数字签名,按照“参数名+参数值+私钥”的格式得到一个字符串,再将这个字符串MD5一次就是这个参数的值。(示例:h15adc39y9ba59abbe56e057e60f883g),所以需要先获取私钥。
验签方式:
将用户的所有非null参数放入定义好排序规则的TreeSet中进行排序,再用StringBuilder按照按照“参数名+参数值+私钥”的格式得到一个字符串(私钥从redis拿),再将这个字符串MD5一次就是这个参数的值。将这个值与用户传来的sign签名对比,相同则通过,否则不通过。
private String createToken(){String utk = "Msk!D*"+System.currentTimeMillis()+"UBR&FLP";logger.info("create token --- "+Md5Util.md5(utk));return Md5Util.md5(utk);}
8.接口限流
有时候服务器压力真的太大,以防交易接口被挤死,就可以对一些其他不影响主要业务功能并且计算量大的接口做限流处理。RateLimit--使用guava来做接口限流,当接口超过指定的流量时,就不处理该接口的请求。详细可看RateLimit。也可参考其他限流框架。
9.协议加密,http升级成https;
为什么要升级呢,为了保证数据的安全性。当使用https访问时,数据从客户端到服务断,服务端到客户端都加密,即使黑客抓包也看不到传输内容。当然还有其他好处,这里不多讲。但这也是开发接口项目需要注意的一个问题。
如何提高接口的高并发和高可用
接口开发好了,接下来就讨论接口的可用性问题。首先我们要将高并发和高可用区分一下,毕竟高可用是在可用的情况,只是很慢或者效率不高。其实也可以归为一类问题,但是不重要啦,重要的是怎么提高你写的接口的访问速度和性能。
接口的高并发解决方案(其实没有唯一答案,业界针对不同业务也有很多不同的方法)
当访问一个接口获取数据时,发现返回很慢,或者总是超时,如果排除网络的原因,那就是接口服务器压力太大,处理不过来了。在世界杯期间,我们查看后台日志总是connection by reset和borker pipe和一些超时问题。这时候,你可能遇到了高并发和高可用问题。但是,不管遇到什么问题,都不能臆断和乱改,你得需要找到慢的原因,才能对症下药,乱改可能会导致其他问题的出现。首先,解决高并发问题的三个方向是负载均衡,缓存和集群。
- 负载均衡
我们使用的是阿里云服务器的负载均衡,后台分布式服务管理,我们运维小哥哥搭建了一套k8s,可以自由在k8s上扩展服务节点,各个服务结点也能随内存的使用自动漂移,不用多说,k8s真的很厉害,感兴趣的同学可以详细去学。那么问题来了,阿里云的负载均衡怎么对应到k8s的负载均衡呢?这个涉及到了k8s的service暴露的一些特点,简单说就是k8s把所有集群的服务都通过指定的内部负载均衡,在指定的服务器上暴露,然后我们又把这几个服务器接在阿里云负载均衡下,这个涉及的细节和配置很多。当然,除nginx外,还有其他负载均衡解决方案,软件硬件都有,硬件如f5等。
阿里云的nginx负载均衡,我们使用的是加权轮询策略,其实轮询是最低效的方式;
这就是最基本的负载均衡实例,但这不足以满足实际需求;目前Nginx服务器的upstream模块支持6种方式的分配:
负载均衡策略
轮询 | 默认方式 |
weight | 权重方式 |
ip_hash | 依据ip分配方式 |
least_conn | 最少连接方式 |
fair(第三方) | 响应时间方式 |
url_hash(第三方) | 依据URL分配方式 |
- 集群
首先,通过排查问题,发现是oltpapi接口服务处理请求很慢,大量请求过来,总是超时和中断连接,这时候,我们想着最简单的方法就是加机器,给oltp接口服务多加几台机器。嗯,一切都很完美,如预期进行,但是加到一定数量,你发现,怎么不起效果,异步响应还是很慢,或者更直观的说,消息队列出现了严重的消息堆积。这时候,你发现出现了新的问题或者瓶颈,这个问题已经不是说加oltp服务器能解决了,那么,就需要去重新定位问题。发现是消息堆积,消息堆积就是生产者过快,导致消费者消费不过来,这时候,你就需要增加消费者的消费数量。给风控系统多加几台机器,让消费者和生产者达到一定平衡。这里有个误区,你可能以为是rocketmq的broker数量过少,增加broker数量,其实当消费者和生产者保持一样的速度时,消息肯定不对堆积,按照原始的broker数量就足够。但是增加broker也会使得消息得到尽快的处理,提升一定效率。
- 缓存
当加机器不能解决问题时,或者说没那么多服务器可使用时,那么就要重代码层面解决高并发问题。Redis 是一个高性能的key-value数据库,当获取数据从数据库拿很慢时,就可以存储到redis,从redis取值。
- 用ConcurrentHashMap缓存对象,并设置过期时间
- redis缓存数据,结合spring定时任务定时获取不会经常改动的key
- 提高使用redis的效率:比如使用mGet一次获取多个key
....等
接口高可用问题
高可用问题应该上升到整个服务的架构问题上,就是说在搭建整体系统是就应该考虑到。高可用问题是以单点故障,访问速度慢的问题为主导。见 服务高可用
- redis主从分布式(redis的单点故障和访问速度的提高和主从备份)
- 分布式dubbo服务的zookeeper主从集群
- strom的主从集群
...等
总结
下面对接口开发服务做一些总结:
1.是拉还是推:
当接口作为数据源时,还要考虑数据是让合作方主动过来拉还是数据有变化就推送呢,当然是推的效果更好,但是如何有效的推数据,不推重复数据等都是需要根据实际业务考虑的问题。
2.多台分布式服务器上,怎么保证交易的幂等和订单的唯一性
当接口服务和合作方都处于分布式情况下,就很容易出现一个订单号申请多次交易请求,但是根据幂等性,一张彩票只能交易一次,并且每次不管何时请求,结果都应该一样不会改变。这种情况下,我们怎么保证唯一性呢,我们需要把该订单和订单状态存redis,每次请求时去看是否订单已存在。但可能这次交易不成功,下次这张票还可以继续交易,可以生成新的订单号啊。redis的setNX是一个很好的解决方案,意思是当存在该key时,返回false,当没有时,该key和value插入成功。用作检查订单是否正在提交,如果是,则阻塞本次请求,避免重复提交 ,可以设置过期时间3s。提交之前锁定订单,防止重复提交。
3.处理时间超过10s,自动返回该订单交易失败
总之,博主发现,在高并发场景下,导致服务崩溃的原因还是redis和数据库,可能是redis读写太慢,或者数据库的一些sql使用不当,或者没建索引导致读写很慢。总之,这是一条很漫长的路,我们都需要慢慢积累经验和学习前人更优秀的解决办法。
对开发接口服务的一些总结相关推荐
- dotnet core 开发无缝兼容Http和Websocket协议的接口服务
在应用接口开发中往往要针对不同协义开发相应的代理服务,但对于Websocket和http这两种协议来说就有些不同,从实现上来看Websocket可以说是Http的升级子协议, 两者在协议处理上基本一致 ...
- 使用Express开发小说API接口服务1.0(二)
使用Express开发小说API接口服务1.0(二) 线上访问地址api.langpz.com/ 之前完成了首页和搜索的接口,现在就开始写剩下的接口. 获取小说源 因为追书神器正版源是收费加密的,所以 ...
- 聚播微信多开客服系统二次开发SDK服务端接口
聚播微信多开客服系统二次开发SDK服务端接口 case HeartBeatReq: {// 客户端发送的心跳包heartBeatReqHandler.handleMsg(ctx, msgVo);bre ...
- 快速开发php接口服务推荐框架
推荐π框架,一个轻量级PHP开源接口框架,专注于接口服务开发,支持HTTP/SOAP/RPC协议,拥有自动生成的在线文档.多种开发语言的客户端SDK包以及可重用的扩展类库,可用于快速搭建微服务.RES ...
- 聚播微信群控云控引擎二次开发SDK服务端对接接口
聚播微信群控云控引擎二次开发SDK服务端对接接口 case HeartBeatReq: {// 客户端发送的心跳包heartBeatReqHandler.handleMsg(ctx, msgVo);b ...
- RuoYi-plus一款由SpringBoot2.x,springcloudG开发的SMP多商户权限管理系统+API接口服务组成,可选性后台管理系统或后端接口服务
数据库脚本请加QQ群,在群文件下载. [技术支持群]687672649[技术交流群]751872263 通知!!! RuoYi-plusv3.0版本介绍: 成功集成多商户管理模式,完美的与基础框架相融 ...
- 26:第三章:开发通行证服务:9:【注册/登录】接口:验证码校验OK后,先根据手机号去查查该用户是否已存在,如果用户不存在就创建这个用户;(tkmybatis查询构建查询条件,雪花算法,枚举类等等)
说明: (1)本篇博客内容:继续开发[注册/登录]接口: ● 在[25:第三章:开发通行证服务:8:[注册/登录]接口:接收并校验"手机号和验证码"参数:]中,[注册/登录]接口, ...
- 接口大师v3.9,API低代码开发工具,即刻搭建你的接口服务平台
接口大师简介 接口大师,是一套研发.管理和开放API接口的软件源代码和解决方案. 它提供了5合1的产品软件,并且提供了前端和PHP源代码,还有详细的开发文档和教程.它的最大特点是可以让大家通过零代码. ...
- 企业支付宝账号开发接口实现
转载自:http://my.oschina.net/xshuai/blog/313809 关于即时到账的开发.审核通过.简单测试如下. 希望看的可以收藏或者赞一下哦. 1:拥有自己的支付宝企业账号.去 ...
最新文章
- Qt 使用#define+qDebug()输出调试信息
- c语言中的关于数学问题的编程,C语言中具有代表性几种数学问题编程技巧探索.doc...
- HDLC 和 PPP封装简介
- HTFS.Software.v7.3-ISO 1DVD(传热模拟,最新完全解密版)
- 29个行业106个史上最全数据源汇总(推荐收藏)
- 【uniapp】 H5微信授权登录
- latex插入参考文献--BibTex格式
- Julia学习04——函数
- linux系统软路由软件,使用Linux+Zebra构建软路由系统
- Android ActivityManager: Waited long enough for: ServiceRecord
- 关于travis scott的网名_文案| 关于【太阳】的惊艳句子
- Android微信App 分享功能调整,Android 微信SDK分享功能(1)
- js首次修改html无效,浅谈jQuery添加的HTML,JS失效的问题
- 实例:用C#.NET手把手教你做微信公众号开发(13)--事件消息处理之取消关注
- java三层架构实现登录_用户登录——三层架构
- 智能车单车组之平衡控制理论分析篇
- PGSQL 日期时间的比较
- 火狐怎么打开html页面,电脑如何设置火狐浏览器主页|电脑设置火狐启动页面的方法...
- git-flow图解
- Puppy linux的引导安装问题
热门文章
- 分布式 - 分布式锁
- 版本内核更新失败,请检查网络或稍后再试
- matlab中清洗数据,个人学习笔记:数据清理
- 命令提示符窗口中的快捷键及其使用说明
- python经典猴子偷桃
- Android10 高通平台 softap热点基本流程1
- nexus5x刷入kali nethunter
- 解决python发邮件报错(554, 'DT:SPM 163 smtp11,D8CowA..
- reduce的基本用法。
- matlab最小二乘法拟合图旋转,【Matlab】—{最小二乘法拟合一阶线性拟合传感器实验}...