EMQ百万级MQTT消息服务(优化和压测)
如果使用EMQ来承载百万级别的用户连接可以吗?官方的回复是8核心32G的配置能够承载160W台设备的链接,那就究竟性能如何呢?只有你自己试了才知道,本节就带着大家一起有调优系统配置和对EMQ进行压力测试来一探EMQ的庐山真面目
附上:
喵了个咪的博客:w-blog.cn
EMQ官方地址:http://emqtt.com/
EMQ中文文档:http://emqtt.com/docs/v2/guide.html
1.Liunx和Erlang虚拟机调优
Linux 系统参数优化
修改系统所有进程可打开的文件数量
sysctl -w fs.file-max=2097152
sysctl -w fs.nr_open=2097152> vi /etc/sysctl.conf
fs.file-max = 2097152
fs.nr_open = 2097152
设置服务最大文件句柄数
vim /etc/systemd/system.conf
DefaultLimitNOFILE=1048576
持久化设置允许用户/进程打开文件句柄数:
ulimit -n 1048576> vim /etc/security/limits.conf
* soft nofile 1048576
* hard nofile 1048576
可用’*'号表示修改所有用户的限制;soft或hard指定要修改软限制还是硬限制;10240则指定了想要修改的新的限制值,即最大打开文件数(请注意软限制值要小于或等于硬限制)。
TCP 协议栈网络参数
> vi /etc/sysctl.conf### backlog - Socket 监听队列长度:
net.core.somaxconn=32768
net.ipv4.tcp_max_syn_backlog=16384
net.core.netdev_max_backlog=16384## 可用知名端口范围:
net.ipv4.ip_local_port_range='1000 65535'## TCP Socket 读写 Buffer 设置:
net.core.rmem_default=262144
net.core.wmem_default=262144
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.core.optmem_max=16777216#sysctl -w net.ipv4.tcp_mem='16777216 16777216 16777216'
net.ipv4.tcp_rmem='1024 4096 16777216'
net.ipv4.tcp_wmem='1024 4096 16777216'## TCP 连接追踪设置:
net.nf_conntrack_max=1000000
net.netfilter.nf_conntrack_max=1000000
net.netfilter.nf_conntrack_tcp_timeout_time_wait=30## FIN-WAIT-2 Socket 超时设置:
net.ipv4.tcp_fin_timeout = 15
## TIME-WAIT Socket 最大数量、回收与重用设置:
net.ipv4.tcp_max_tw_buckets=1048576# 注意: 不建议开启該设置,NAT模式下可能引起连接RST
# net.ipv4.tcp_tw_recycle = 1
# net.ipv4.tcp_tw_reuse = 1
Erlang 虚拟机参数
> vim /usr/local/emqttd/etc/emq.conf
## Erlang Process Limit
node.process_limit = 2097152
## Sets the maximum number of simultaneously existing ports for this system
node.max_ports = 1048576## EMQ 最大允许连接数
## Size of acceptor pool
listener.tcp.external.acceptors = 64
## Maximum number of concurrent clients(以1G内存比5W进行配置)
listener.tcp.external.max_clients = 1000000
重启emq之后可以在Dashboard看到如下显示:
2.压测程序EMQ
进行压力测试需要erlang R17版本以上的环境(默认yum装下来是R16版本,如果yum能装到新版本请无视)
## 依赖
yum -y install ncurses-devel openssl-devel unixODBC-devel gcc-c++
mkdir -p /app/install $$ cd /app/install/
wget http://erlang.org/download/otp_src_19.0.tar.gz
tar -xvzf otp_src_19.0.tar.gz
cd otp_src_19.0
./configure --prefix=/usr/local/erlang --with-ssl -enable-threads -enable-smmp-support -enable-kernel-poll --enable-hipe --without-javac
make && make install
配置erl环境变量
vim /etc/profile# erlang
export ERLPATH=/usr/local/erlang
export PATH=$ERLPATH/bin:$PATHsource /etc/profile
安装压测软件
yum -y install git
cd /app/install
git clone https://github.com/emqtt/emqtt_benchmark.git
cd emqtt_benchmark
## 调整系统参数并且开始压测
sysctl -w net.ipv4.ip_local_port_range="500 65535"
echo 1000000 > /proc/sys/fs/nr_open
ulimit -n 1000000
./emqtt_bench_sub -h 192.168.2.111 -c 32219 -i 1 -t bench /%i -q 2
附上笔者压测图:
笔者使用了1核1G的服务器14台对2核心8G的EMQ服务器进行压力得到了44W的稳定链接峰值,可以得知最佳比例是1G内存对应6W设备连接,和官方给出的32G内存160W台设备的连接数非常接近
3 总结
通过系统调优之后的压力测试基本得到了和官方一致的数据,可以见得EMQ能承载的连接数确实很惊人,对的起百万级别消息服务的称呼,得到这个结论之后我们下一步就是开始集群的权限限制的探索,我们不见不散哦……
注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!
EMQ百万级MQTT消息服务(优化和压测)相关推荐
- mqtt 负载均衡_EMQ百万级MQTT消息服务(分布式集群)
在强大的单机也比不上集群,EMQ的集群模式很粗暴,只需要把EMQ服务关联在一起然后负载均衡就可以达到集群的效果,这样就算面对1000CK问题也迎刃而解 附上: 喵了个咪的博客:w-blog.cnEMQ ...
- Worktile中百万级实时消息推送服务的实现
Worktile中百万级实时消息推送服务的实现 出自:http://blog.jobbole.com/81125/ 转载于:https://www.cnblogs.com/ribavnu/p/4531 ...
- Worktile 中百万级实时消息推送服务的实现
Worktile 中百万级实时消息推送服务的实现 转自:http://www.360doc.com/content/15/0907/19/1073512_497529854.shtml 这是一个创建于 ...
- 如何用 Netty 设计一个百万级推送服务?
1. 背景 1.1. 话题来源 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题.问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为 ...
- 基于Netty的百万级推送服务设计要点
1. 背景 1.1. 话题来源 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题.问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为 ...
- Netty学习总结(3)——Netty百万级推送服务
1. 背景 1.1. 话题来源 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题.问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为 ...
- 【Netty系列】Netty百万级推送服务设计要点
一. 背景 1.1. 话题来源 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题.问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为 ...
- Netty系列之Netty百万级推送服务设计要点
原文来自于:李林峰 https://www.infoq.cn/article/netty-million-level-push-service-design-points/ 1. 背景 1.1. 话题 ...
- Netty百万级推送服务设计要点
1. 背景 1.1. 话题来源 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题.问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为 ...
最新文章
- perl模块的安装,查询
- 【采用】人工智能如何帮助银行反欺诈:银行智能欺诈风险预测模型研究
- Redis中通过bat获取指定前缀开头的所有键值对并输出保存到文件中
- AngularJS 项目搭建--基于RequireJs
- 安卓Socket处理
- 陆奇李开复余凯谈AI十年机遇,Hinton和LeCun会如何评价?
- 基于比较的排序算法集
- 使用k-近邻算法进行分类
- 使用RestTemplate遇到的问题
- 黑马vue实战项目-(二)用户列表开发
- python爬虫之模拟登陆csdn
- 数据新闻大趋势 释放可视化报道的力量------读后随笔
- 树莓派有线网络设置_树莓派通过网线实现与电脑共享网络
- 1817735-45-7,Carboxy-PEG2-sulfonic acid在EDC和HATU等活化剂存在下,末端羧酸可参与与伯胺的反应
- Unirech腾讯云国际版代充-使用RDP文件登录到Windows云服务器实例教程
- Linux安装tar软件教程,tar的简单实用及linux常见软件的安装
- python抓取京东联盟优惠券_python 爬虫爬取京东ps4售卖情况
- 卫生间装修攻略|从想象到入住齐全
- 如何在CSDN中发布博客
- 计算机与信息与计算科学的论文,信息与计算科学专业论文参考文献
热门文章
- React:Redux 设计思想
- 解读Learning High-Precision Bounding Box for Rotated Object Detection via Kullback-Leibler Divergence
- Rotated_IoU 计算
- kali安装jdk8和切换jdk版本和4.0版本冰蝎的使用
- 猫猫学iOS之小知识之_xcode插件的删除方法_自动提示图片插件KSImageNamed有时不灵_分类或宏之类不能自动提示,
- Java构造的作用和方法
- AI生成二维码Stable diffusion生成可识别二维码【附完整教程】【附完整案例】
- 后疫情时代,开元酒店集团挖需求、练内功、担责任
- centos的删除与修复
- ZYNQ中AXI4-Lite实现PS与PL通信