唯品会多线程Redis设计与实现

声明：本文来自京东张开涛的微信公众号（kaitao-1234567），授权CSDN转载，如需转载请联系作者。
作者：申政，开源爱好者，唯品会高级DBA，主要负责Redis相关领域的源码研究和研发工作。
责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件qianshg@csdn.net，另有「CSDN 高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信qshuguang2008申请入群，备注姓名+公司+职位。

本文将向大家分享下我们正在开发的多线程Redis。在我们的Redis使用中，发现了一些痛点问题，涉及到了Redis框架的设计。

我们线上有大量的Redis实例在运行，规模比较庞大，有些Redis集群实例规模超过100+，我们开始对Redis进行了多线程版本的改造，就是我们现在正在开发的产品Vire。

这是Vire的一个现状，分几个阶段进行开发，现在是0.1.0版本。

以上是Vire 0.1.0的一些设计思路。下面说说具体实现：

这是Vire的多线程模型，借鉴于memcached，master+worker线程模型。

这个图比较直观的反映了线程模型的工作原理，多线程不可避免会用到锁，以下是Vire的锁机制：

这里有个逻辑DB的概念，其实就是把多个Redis DB伪装成一个DB提供给用户。DB级别的锁，会不会性能很差呢？后续会有测试报告给出。

用户使用的所有key，是通过key的Hash值被分散到了各个物理DB上，目的就是降低DB锁的竞争提升QPS，可以通过info命令看到物理db中key的分布：

下面来看下成功执行一个Redis命令要走的流程：

我们的DB锁是在哪一步使用呢？

有可能用到DB锁的步骤就是红框中的两步，但像ping这样命令，在整个过程中是用不到DB锁的，可以看出，Worker线程在一部分时间是完全并行执行的，关于Vire中的后台线程：

Worker线程专注于处理客户端的请求，杂活累活有backend线程来做，backend线程在Vire后续版本中，会发挥更重要的作用。

这里是Vire代码内部对object的处理，这里会有些性能退化。

这是Vire对多key命令的一些特殊处理，死锁的问题，导致个别Redis命令在Vire中暂时无法实现。

Vire中增加了一些权限管理，Vire增加了管理员的角色，保证了一些危险命令不被开发执行。

下面说说Vire的测试：

这里着重说说abtest和性能测试，为了保证Vire的命令执行起来与Redis一模一样，我们开发了abtest测试框架。详细说说abtest框架中各模块的作用：

这个测试框架有效的帮我们发现了一些bug，以下是性能测试：

我们的目标就是性能接近或跟mc一样，以下是hotkey测试：

hotkey的效果还不错。

Q&A

Q：客户端需要换吗？
A：客户端兼容，无需更换，使用起来跟原生redis一样
Q：Worker和DB的关系是什么？
A：Worker和DB没有关系, client是数据Worker线程的, DB是完全独立的
Q：后期主备会支持吗？
A：以后会支持主备，集群和脚本等高级功能
Q：有没有想过把锁降低至key级别?
A：没必要key级别的锁
Q：死锁问题为何不通过顺序锁定相关DB来解决呢，我们的Redis是分布式锁，通过按统一的顺序锁定，就可以避免死锁
A：锁的数量会太多，你说的这个死锁问题很好，有这样的想法，但还没有时间去验证可不可行，以后可以尝试。
Q：Vire和Redis-cluster比起来哪个性能更好？
A：Redis-cluster是集群模式，Vire是单实例，没办法比较性能，Vire最后一个版本希望能支持到集群
Q：给我的理解Vire的多个逻辑DB的设计原理和Redis-cluster里多个分片原理是一样吧？
A：非常类似, 只不过Redis-cluster里的slot是海量的，16384
Q：现在Redis-cluster的解决方案是客户端自己计算slot的位置，可以通过根据操作的读写类型，实现负载均衡，Vire采取的多DB+多Worker的方案，他这样的优势在哪里？
A：主要是提升单个实例的QPS能力
Q：现在的设计是全部基于内存上的？服务器宕机是不是数据全都会消失
A：Vire0.1.0版本数据全部在内存，只适合于做缓存, Vire后续版本会做持久化和复制，甚至是集群

2016年9月22日-23日，[SDCC 2016大数据技术&架构实战峰会](http://bss.csdn.net/m/topic/sdcc_invite/hangzhou /)将在杭州举行，两场峰会大牛讲师来自阿里、京东、苏宁、唯品会、美团点评、游族、饿了么、有赞、Echo等知名互联网公司，共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、音频分析的机器学习算法应用，以及高可用/高并发/高性能系统架构设计、电商架构、分布式架构等话题与技术。
9月5日~18日是八折优惠票价阶段，5人以上团购或者购买两场峰会通票更有特惠，限时折扣，预购从速。（票务详情链接）。

唯品会多线程Redis设计与实现相关推荐

Redis | 第6章事件与客户端《Redis设计与实现》
第6章事件与客户端前言 1. 事件 1.1 文件事件 1.1.1 I/O 多路复用程序的实现 1.1.2 事件类型与 API 1.1.3 文件事件的处理器 1.2 时间事件 1.2.1 API 1 ...
《redis设计与实现》读书笔记
<redis设计与实现> 作者:黄健宏读书笔记一.前言什么是redis: Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数 ...
Redis设计与实现
作者:黄健宏出版社: 机械工业出版社品牌:机工出版出版时间:2014-06-01 Redis设计与实现
《Redis设计与实现》之第七章：压缩列表
压缩列表是列表键和哈希键的底层实现之一.压缩列表是为了节约内存而开发的,是由一系列特殊编码的连续内存块组成的顺序型数据结构. [压缩列表是一种数据结构,这种数据结构的功能是将一系列数据与其编码信息存储 ...
《Redis 设计与实现》读书笔记-Redis 对象
一.Redis 对象 1.1 Redis 对象简介 Redis 使用对象来表示数据库中键和值,当我们在数据库中存储一个键值对时,至少会创建两个对象,一个对象用于存储键值对的键,另一个对象用于存储键值对 ...
《redis 设计与实现》读书笔记
大家好,我是烤鸭: <redis 设计与实现>,读书笔记. 第一部分数据结构与对象第2章简单动态字符串 Redis 使用SDS 作为字符串表示. O(1) 复杂度获取字符串长 ...
Windows多线程多任务设计初步zz
［前言:］当前流行的Windows操作系统,它能同时运行几个程序(独立运行的程序又称之为进程),对于同一个程序,它又可以分成若干个独立的执行流,我们称之为线程,线程提供了多任务处理的能力.用进程和线程 ...
HTML5期末大作业：仿唯品会购物网站设计——仿唯品会购物商城(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品商城网站设计
HTML5期末大作业:仿唯品会购物网站设计--仿唯品会购物商城(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品商城网站设计常见网页设计作业题材有个人. 美食. 公司. ...
《Redis设计与实现黄建宏著》阅读笔记目录（持续更新）
<Redis设计与实现黄建宏著>第3章该书基于Redis2.9,即Redis3.0开发版编写目录: 第一部分数据结构与对象 01 简单动态字符串 02 链表 03 字典 04 跳 ...
Redis 设计与实现读书笔记（菜鸟版）
Redis 设计与实现读书笔记(简略版) 写在前面第一章(内部数据结构) SDS List Dictionary Rehash Rehash 与 COW 渐进式Rehash 字典收缩 Skipli ...

唯品会多线程Redis设计与实现

Q&A

唯品会多线程Redis设计与实现相关推荐

最新文章

热门文章