快捷導(dǎo)航

Linux宿主機下/容器下如何修改進程打開的文件句柄數(shù)(open files)

更新時間：2024年10月10日 14:34:59 作者：Leon_start

系統(tǒng)級的max-file和進程級的ulimit-n分別控制文件句柄的最大數(shù)量,系統(tǒng)級限制整個系統(tǒng),而ulimit-n只限制單個進程,當進程打開的文件句柄數(shù)超限時,會報“Too many files open”錯誤,可以通過特定命令查看和修改這些值

Linux宿主機下/容器下修改進程打開的文件句柄數(shù)
一、查看系統(tǒng)最大句柄數(shù)
二、修改文件句柄(進程級別)
三、修改max user processes進程數(shù)
四、查看系統(tǒng)最大打開文件描述符數(shù)量（系統(tǒng)級別）
五、容器內(nèi)部修改文件句柄
總結(jié)

Linux宿主機下/容器下修改進程打開的文件句柄數(shù)

背景1：平臺調(diào)用算法出現(xiàn)異常，查看數(shù)據(jù)庫調(diào)用錯誤狀態(tài)碼是499

499：（客戶端主動關(guān)閉請求）；客戶端向服務(wù)端發(fā)起請求，服務(wù)器端處理的時間過長，超出了客戶端的超時時間，客戶端主動斷開連接。
## 這個報錯表明請求已經(jīng)打到了后端算法，只是后端算法請求太多導(dǎo)致的，遲遲沒有響應(yīng)客戶端并返回結(jié)果而導(dǎo)致斷開連接，此時可以增加服務(wù)后端節(jié)點數(shù)分攤壓力或者增加文件句柄數(shù)（增加文件句柄數(shù)可以讓算法接收更多的請求）

背景2：錯誤日志出現(xiàn)“Too many open files“等文件打開太多等錯誤，出現(xiàn)文件描述符耗盡的問題

背景3：容器里面的服務(wù)啟動異常，排查發(fā)現(xiàn)容器里面文件句柄數(shù)太少，大概率是容器本身配置的句柄數(shù)過低

max-file 表示系統(tǒng)級別的能夠打開的文件句柄的數(shù)量。是對整個系統(tǒng)的限制，并不是針對用戶的。
ulimit -n 控制進程級別能夠打開的文件句柄的數(shù)量。提供對shell及其啟動的進程的可用文件句柄的控制，這是進程級別的

對于服務(wù)器，一般修改進程級的最大打開文件句柄數(shù)即可（系統(tǒng)默認1024，有點?。Ｒ话悴恍枰{(diào)整系統(tǒng)級的最大數(shù)。

如果出現(xiàn)了達到系統(tǒng)級別最大限制時，也需要同步調(diào)整系統(tǒng)級的最大數(shù)的。

一、查看系統(tǒng)最大句柄數(shù)

Linux 中，單個進程能夠打開的最大文件句柄數(shù)量是可以配置的，系統(tǒng)默認是 1024。

當單個進程打開的文件句柄數(shù)量超過了系統(tǒng)定義的值，就會出現(xiàn)“Too many files open”的錯誤提示。

用戶可以通過以下命令查看系統(tǒng)定義的最大值：

#查看文件句柄
[root@localhost ~]# ulimit -a
#查看當前進程打開了多少句柄數(shù):
[root@localhost ~]# lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more 
131 24204　
57 24244　　 
57 24231　......
?
其中第一列是打開的句柄數(shù)，第二列是進程ID?？梢愿鶕?jù)ID號來查看進程名:
[root@localhost ~]# ps aef|grep 24204
nginx　　24204 24162 99 16:15 ?　　　　00:24:25 /usr/local/nginx/sbin/nginx -s

二、修改文件句柄(進程級別)

#對于一般的應(yīng)用程序而言 1024 已經(jīng)完全夠用了，但是有些進程處理大量請求，很有可能 1024 就不夠用了，則需要調(diào)整系統(tǒng)參數(shù),一般可以設(shè)置4096、65535或者102400，設(shè)置的太高會影響性能，并不是想設(shè)置多高就多高，畢竟打開的文件句柄數(shù)越多響應(yīng)時間肯定會越慢

#臨時生效
[root@localhost ~]# ulimit -n 4096
#永久生效法一：把這個臨時生效的命令放在.bashrc或者.bash_profile配置文件里就可以永久生效了
[root@localhost ~]# echo "ulimit -n 4096" >> ~/.bashrc 
#永久生效法二
[root@localhost ~]# vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535

提示：* 表示所用的用戶，但有的系統(tǒng)不認, 需要具體的用戶名, 比如:
root soft nofile 65535
root hard nofile 65535
重新登錄驗證，或reboot后驗證。

三、修改max user processes進程數(shù)

#臨時生效
[root@localhost ~]# ulimit -u 65536
#永久生效
[root@localhost ~]# vim /etc/security/limits.conf
*　soft nproc 65536
*　hard nproc 65536

四、查看系統(tǒng)最大打開文件描述符數(shù)量（系統(tǒng)級別）

[root@localhost ~]# cat /proc/sys/fs/file-max  #查看系統(tǒng)最大打開文件描述符數(shù)量
180965
[root@localhost ~]# echo "1000000" > /proc/sys/fs/file-max   #臨時設(shè)置該值
?
#永久性設(shè)置，需要在/etc/sysctl.conf中設(shè)置，并讓它生效：
[root@localhost ~]# echo "fs.file-max = 1000000" >> /etc/sysctl.conf 
[root@localhost ~]# sysctl -p
fs.file-max = 1000000

注意：

所有進程打開的文件描述符數(shù)量不能超過/proc/sys/fs/file-max。
單個進程打開的文件描述符數(shù)不能超過user limit中nofile的soft limit。
nofile的soft limit不能超過其hard limit。

五、容器內(nèi)部修改文件句柄

##這是針對已經(jīng)run起來的容器修改文件句柄
[root@localhost ~]# ps -ef | grep dockerd
root      57213      1  0 Jan13 ?        02:49:32 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --icc=false --default-ulimit nproc=1024:2408 --default-ulimit nofile=100:200
root     126923 122986  0 10:44 pts/2    00:00:00 grep --color=auto dockerd

[root@localhost ~]# cat /usr/lib/systemd/system/docker.service
#把宿主機本身容器配置文件這一條修改后重啟就會生效
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --icc=false --default-ulimit nproc=1024:2408 --default-ulimit nofile=65535:131070

[root@localhost ~]# systemctl restart docker && systemctl daemon-reload

--default-ulimit nofile=100:200，也就是文件句柄容器內(nèi)100，宿主機200

#沒有run運行起來的容器，可以直接在容器啟動命令添加限制參數(shù)：
--ulimit nofile=65535:65535，容器啟動完成后，在容器內(nèi)查看java進程句柄數(shù)限制(已經(jīng)成功修改為65535)
[root@localhost ~]# docker run --ulimit nofile=65535:65535 ...