IT明哥

V1

2023/02/21阅读:40主题:草原绿

总结下 fs.file-max,ulimit -n 和 lsof的异同

总结下 fs.file-max,ulimit -n 和 lsof的异同

1 问题背景

最近排查一个大数据集群的性能问题,排查过程中发现通过命令 ulimit -n 获取的最大句柄数,和通过命令 cat /proc/$pid/limits 获取的最大句柄数不一致,特意总结了下相关知识,在此记录下。

2 操作系统全局级别的限制

LINUX在操作系统全局级别,通过参数 fs.file-max 控制了整个系统能够打开的文件的最大数,该参数是由kernel在内核层面限制的,适用于所有用户所有进程:

  • 可以通过如下命令查看全局级别的限制:sysctl fs.file-max;
  • 也可以通过如下命令查看全局级别的限制:cat /proc/sys/fs/file-max;
  • 可以通过如下命令修改全局级别的限制:sysctl -w fs.file-max=xxx;
  • 也可以查看或修改 fs.file-nr的值,该参数有三部分,第一部分是已经使用的文件句柄数,最后一部分是最大句柄数的限制;

3 用户级别的限制

可以在用户级别,配置某个特定用户,可以同时打开的最大文件句柄数,此时有以下几点需要注意:

  • 该参数实质是控制某个特定用户所运行的所有进程,单一一个进程所能够同时打开的最大文件句柄数(每个用户的每个进程能够打开的最大文件数);
  • 最大句柄数包括软限制和硬限制(soft limit and hard limit),且软限制小于等于硬限制,普通用户能够调整自己的 soft limit,而 hard limit只有root用户才能调整;
  • 临时修改最大文件句柄数限制,可以使用命令 ulimit -n 65535:该命令对该会话下后续新启动的所有进程都会立即生效,但系统重启后修改会丢失(ulimit -Hn/ulimit -Sn);
  • 永久修改文件句柄数,需要修改配置文件 /etc/security/limits.conf或/etc/security/limits.d/20-nproc.conf:该修改在系统重启后不会丢失,但用户需要重新登录才能使用这里的修改值;
  • 更改参数前已经存在的进程,以及这些已经存在的进程 fork 出的新进程,其底层实际生效的 nproc,仍然是参数更改前的值;
  • systemd 控制的 service unit, 是不受 /etc/security/limits.conf 和 /etc/security/limits.d/20-nproc.conf 中的配置参数影响的,对于他们需要在配置文件中配置 LimitNOFILE(推荐配置 /etc/systemd/system/ .d/override.conf,而不是 /usr/lib/systemd/system/ .service,因为通过rpm等包管理器升级时后者会被覆盖掉);
  • 查看当前会话下用户级别的限制,可以使用命令 ulimit -a;
  • The ulimit is for filehandles,it applies to files, directories, sockets, pipes epolls, eventfds, timerfds etc etc. The parameter is set at user level, but applied for each process;
  • You need to relogin to use the changed parms in /etc/security/limits.conf;
  • Old process's forked sub-process will inherit and use old value;
  • A duplicted session from an old session may not be using the new ulimit settings, you need use ulimit -a to check;
  • ulimit can also be set by environment variables in /etc/profile, etc.
  • you can use prlimit to dynamically modify limit settings for a certain process;
  • systemd service units will completely igrone ulimit settings.

4 特定进程当前生效的限制

通过上述描述可以发现,用户级别对最大句柄数的调整,对某个进程是否生效,还取决于该进程隶属于哪个会话,该进程的父子进程链如何,以及该进程是否受 systemd 管控的影响。

  • 对于某个正在运行的进程,其实际生效的句柄数限制,可以通过如下命令查看:cat /proc/$pid/limits | grep "open files";
  • 对于某个正在运行的进程,其已经打开的文件句柄数,可以通过如下命令行获得:ls /proc/$pid/fd |wc -l;

5 关于 lsof

最后,我们经常使用 lsof 查看某个进程或当前整个系统所打开的文件数,比如:

  • 通过如下命令查看某个进程打开的所有文件:lsof -p $pid |grep / | awk '{print $9}'|sort | uniq;
  • 通过如下命令查看当前系统打开的所有文件的句柄数:sudo lsof | wc -l;
  • 需要注意,lsof 和 fs.file-nr统计的口径并不一致:lsof count is more than fs.file-nr count, and the reason is, file-nr ignores some of the directories which are considered as files by lsof;

分类:

后端

标签:

后端

作者介绍

IT明哥
V1