一般一个大规模Linux服务器请求数可能是几十万上百万的情况,需要足够的连接数来使用,所以务必进行相应的设置。 默认的Linux服务器文件描述符等打开最大是1024,用ulimit -a 查看: [viewuser@~]$ ulimit -a core file size (blocks, -c) 0 #coredump 文件大小 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 255622 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1024 #打开文件数量,root账户无限制 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 8192 cpu time (seconds, -t) unlimited max user processes (-u) 4096 #root用户本项是无限 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited

设置要求:假设我们要设置为200W最大打开文件描述符

修改 nr_open 限制 (用途:能够配置nofile最大数)

cat /proc/sys/fs/nr_open Linux 内核 2.6.25 以前,在内核里面宏定义是1024*1024,最大只能是100w(1048576),所以不要设置更大的值,如果Linux内核大于 2.6.25 则可以设置更大值。 设置方法: sudo bash -c 'echo 2000000 > /proc/sys/fs/nr_open' 注意:只有修改了 nr_open 限制,才能修改下面的限制。

打开文件描述符限制:修改 limits.conf 的nofile软硬打开文件限制(用途:tcp连接数)

文件位置:/etc/security/limits.conf 查找 nofile ,如果没有,则在自己最后加上: 2.6.25 及以前内核设置为100W:

soft nofile 1000000

hard nofile 1000000

2.6.25 以后版本内核可以设置为200W:

soft nofile 2000000

hard nofile 2000000

设置后保存本文件。(本操作必须重启才生效,如果无法重启,会无法生效,不确定是否使用 /sbin/sysctl -p 是否可以直接生效)

打开进程限制:修改 limits.conf 中的nproc限制 (用途:进程数)

说明:如果你对进程总数量没有特殊要求,可以不修改本选项,如果你是一个高性能多进程的server,需要很多进程来处理,那么可以修改本选项。 ulimit -a 里可以看到 max user processes 如果值是比较大的,可以不用设置 nproc 项。 配置文件:/etc/security/limits.d/20-nproc.conf (RHEL 7/CentOS 7)

soft nproc 4096 root soft nproc unlimited

就是root无限(实际root用户限制是:255622),其他非root用户是4096个进程。

说明: 硬限制表明soft限制中所能设定的最大值。 soft限制指的是当前系统生效的设置值。 hard限制值可以被普通用户降低。但是不能增加。 soft限制不能设置的比hard限制更高。 只有root用户才能够增加hard限制值。 当增加文件限制描述,可以简单的把当前值双倍。 例子如下, 如果你要提高默认值1024, 最好提高到2048, 如果还要继续增加, 就需要设置成4096。

修改 file-max 选项 (用途:可分配文件句柄数目)

file-max 价值:指定了可以分配的文件句柄的最大数目(可以使用 /proc/sys/fs/file-nr 文件查看到当前已经使用的文件句柄和总句柄数。)

(1) 临时生效: 文件路径:/proc/sys/fs/file-max cat /proc/sys/fs/file-max 3252210 如果要修改,直接覆盖文件:(比如改成200w) sudo echo 2000000 > /proc/sys/fs/file-max 注意:如果你想每次启动都自动执行上面的命令,可以在系统启动配置文件/etc/rc.local里面添加一句命令:(跟永久生效差不多) echo 2000000 > /proc/sys/fs/file-max 或者直接Shell全搞定: echo "echo 2000000 > /proc/sys/fs/file-max" >> /etc/rc.local (2) 永久生效: 修改配置文件,文件位置:/etc/sysctl.conf 打开配置文件到最末尾,如果配置文件里没有则可以直接添加: sudo echo "fs.file-max = 2000000" >>/etc/sysctl.conf 配置文件生效:sudo /sbin/sysctl -p

修改TCP等相关选项

配置文件:/etc/sysctl.conf 修改选项: net.core.somaxconn = 2048 net.core.rmem_default = 262144 net.core.wmem_default = 262144 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.tcp_rmem = 4096 4096 16777216 net.ipv4.tcp_wmem = 4096 4096 16777216 net.ipv4.tcp_mem = 786432 2097152 3145728 net.ipv4.tcp_max_syn_backlog = 16384 net.core.netdev_max_backlog = 20000 net.ipv4.tcp_fin_timeout = 15 net.ipv4.tcp_max_syn_backlog = 16384 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_max_orphans = 131072 配置文件生效:sudo /sbin/sysctl -p

以上选项也可以直接给 /proc/sys/net/ 目录下面按照各个选项可以直接使用 echo VALUE > /proc/sys/net/core/wmem_max 来直接修改内存临时值生效。

主要看这几项: net.ipv4.tcp_rmem 用来配置读缓冲的大小,三个值,第一个是这个读缓冲的最小值,第三个是最大值,中间的是默认值。我们可以在程序中修改读缓冲的大小,但是不能超过最小与最大。为了使每个socket所使用的内存数最小,我这里设置默认值为4096。 net.ipv4.tcp_wmem 用来配置写缓冲的大小。读缓冲与写缓冲在大小,直接影响到socket在内核中内存的占用。 net.ipv4.tcp_mem 则是配置tcp的内存大小,其单位是页,而不是字节。当超过第二个值时,TCP进入 pressure模式,此时TCP尝试稳定其内存的使用,当小于第一个值时,就退出pressure模式。当内存占用超过第三个值时,TCP就拒绝分配 socket了,查看dmesg,会打出很多的日志“TCP: too many of orphaned sockets”。 net.ipv4.tcp_max_orphans 这个值也要设置一下,这个值表示系统所能处理不属于任何进程的 socket数量,当我们需要快速建立大量连接时,就需要关注下这个值了。当不属于任何进程的socket的数量大于这个值时,dmesg就会看 到”too many of orphaned sockets”。

注意:如果是客户端程序,为了更好的访问server程序不是卡在端口分配上,建议把客户端的端口(port_range)范围开大一些: 修改文件:/etc/sysctl.conf net.ipv4.ip_local_port_range = 1024 65535

配置生效:sudo /sbin/sysctl -p 如果是客户端,其他文件打开限制等可以参考上面的来设置。

其他一些配置

(1) 打开core文件

如果为了观察程序是否正常,出现问题后生成相应映像文件,可以开启coredump相关的操作,可以打开:(非必须,如果线上环境,担心影响稳定性,可以考虑不开启) 配置文件:/etc/security/limits.conf 修改配置文件: 增加:

soft core 102400

hard core 2048003

建议设置为无限大小:

soft core unlimited

hard core unlimited 然后重启机器生效(不确定是否可以使用 /sbin/sysctl -p 生效),使用: ulimit -a 或 ulimit -c 查看结果,后续如果程序出现栈溢出等都会生成coredump文件,方便用gdb等追查问题原因。

java协变 生产者理解_Linux 大规模请求服务器连接数相关设置相关推荐

  1. Linux 大规模请求服务器连接数相关设置

    2019独角兽企业重金招聘Python工程师标准>>> 一般一个大规模Linux服务器请求数可能是几十万上百万的情况,需要足够的连接数来使用,所以务必进行相应的设置. 默认的Linu ...

  2. java协变 生产者理解_Java进阶知识点:协变与逆变

    一.背景 要搞懂Java中的协办与逆变,不得不从继承说起,如果没有继承,协变与逆变也天然不存在了. 我们知道,在Java的世界中,存在继承机制.比如MochaCoffee类是Coffee类的派生类,那 ...

  3. restTemplate请求重发的相关设置-通过配置

    restTemplate请求重发的相关设置-通过配置 通过配置的方式 相关的pom文件需要引入:httpclient <dependency><groupId>org.apac ...

  4. DELL服务器iDRAC相关设置

    原贴:http://www.cnblogs.com/wjoyxt/p/5053466.html iDRAC又称为Integrated Dell Remote Access Controller,也就是 ...

  5. Linux下轻松理解防火墙的工作原理及相关设置(三)firewalld服务、包括Direct Rules 和Rich Rules (地址伪装和转发)

    文章目录 firewalld概述 firewall和iptables的不同 firewalld常用命令 firewalld基本管理 1.图形化操作 firewall-config 2.命令化操作 火墙 ...

  6. java http连接_Java中通过方法创建一个http连接并请求(服务器间进行通信)

    服务器间进行通信只能通过流(Stream)的方式进行,不能用方法的返回值. 1.Java代码创建一个连接并请求该连接返回的数据 doGet()方法,execute()方法中调用 package dem ...

  7. 阿里云贾少天:大规模云服务器高效使用及管理实践

    简介:本篇内容分享了大规模云服务器高效使用及管理最佳实践. 2021年10月22日,在云栖大会的<云上运维最佳实践>分论坛,阿里云高级技术专家贾少天发表了主题为"大规模云服务器高 ...

  8. NETGEAR拒绝连接请求_3分钟理解HTTP的请求与响应

    HTTP和HTTPS HTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法. HTTPS(Hypertext Transfer ...

  9. jQuery用于请求服务器的函数

    post方法 jQuery为我们包装简化了常用的请求方法,其中有一个post方法,此方法可以通过 HTTP POST 请求从服务器载入数据. 语法: jQuery.post(url,data,succ ...

最新文章

  1. Spring中@Pattern的使用
  2. SQL server 2008数据库的备份与还原、分离(转)
  3. cgcs2000大地坐标系地图_为什么要从北京54和西安80统一到CGCS2000?测绘人必知!...
  4. 交换机的基本配置实验报告_无线网络设计配置即实验报告
  5. IDC Q1中国云服务报告:公有云IaaS市场增速持续高于全球
  6. logstash mysql增量_Logstash jdbc 按时间增量更新的一些总结
  7. centos7源码安装mysql8.0_CentOS7下源码安装MySQL 8.x
  8. 怎样改变计算机桌面的特效主题,电脑桌面主题、图片怎么设置的技巧大全
  9. java mdpi_如何使用drawable兼容所有屏幕尺寸(idpi,mdpi,hdpi,xhdpi,xxhdpi)
  10. NLP预训练家族 | Transformer-XL及其进化XLNet
  11. 【转】JVM内存管理:深入垃圾收集器与内存分配策略
  12. 聚类算法 optics
  13. Tableau Desktop Pro中文破解版
  14. WebApi生成接口文档
  15. html日历修改,HTML精美日历插件
  16. 基于Hadoop的电商用户分析系统
  17. 查看 设置mysql时区
  18. 使用自己训练的yolov3或yolov4模型自动标注成voc格式数据
  19. 让员工都是决策者!受到丰田集团启发:让企业少花500万的诀窍
  20. IDEA 启动项目报错 Error running 'XXXApplication': No jdk for module 'XXX'

热门文章

  1. CentOS7:内网中两台机器不能连接的问题(Destination Host Unreachable),实际为AP隔离问题
  2. 无法查看网上邻居工作组计算机,网上邻居无法查看工作组计算机怎么办
  3. css 3D盒子动画
  4. 集丰照明|没有副光斑的射灯简直了,小山丘完美
  5. linux安装php-java-bridge
  6. CVPR2020及ICRA2020中视觉定位论文集锦
  7. 数据的质量控制软件——fastQC
  8. 我爱我的计算机专业演讲稿,2017年我爱我的专业演讲稿优秀范文
  9. 中国戊酰氯市场趋势报告、技术动态创新及市场预测
  10. 声纹项目复盘(声纹识别从零到部署)