白菜君の技术库

【Linux】顺序写盘和随机写盘

linux 的文件描述符

文件描述符（FD:file descriptors），也可以说是文件句柄，当某个程序打开文件时，内核返回相应的文件描述符，程序为了处理该文件必须引用此描述符。文件描述符是一个正整数，用以标明每一个被进程所打开的文件和 socket。最前面的三个文件描述符（0，1，2）分别与标准输入（stdin），标准输出（stdout）和标准错误（stderr）对应，后面打开的文件依此类推对应 3、4…… 。

linux 系统对每个用户、进程、或整个系统的可打开文件描述符数量都有一个限制，一般默认为 1024。当我们在系统或应用的日志中碰到“too many open files”错误记录时，这个其实不是说打开的文件过多，而是打开的文件描述符数量已达到了限制，这时就需要增加文件描述符的数量限制了。

获取系统打开的文件描述符数量

1
2
[root@localhost ~]# cat /proc/sys/fs/file-nr
1216    0       197787
  • 第一列 1216 ：为已分配的 FD 数量
  • 第二列 0 ：为已分配但尚未使用的 FD 数量
  • 第三列 197787 ：为系统可用的最大 FD 数量

已用 FD 数量＝为已分配的 FD 数量 - 为已分配但尚未使用的 FD 数量。注意，这些数值是系统层面的。

获取进程打开的文件描述符数量

1
2
3
4
5
6
7
[root@localhost ~]# pidof vim
3253
[root@localhost ~]# ll /proc/3253/fd
lrwx------. 1 test test 64  6月  8 18:11 0 -> /dev/pts/0
lrwx------. 1 test test 64  6月  8 18:11 1 -> /dev/pts/0
lrwx------. 1 test test 64  6月  8 18:11 2 -> /dev/pts/0
lrwx------. 1 test test 64  6月  8 18:11 4 -> /home/test/.bash_history.swp

可以看到 vim 进程用了 4 个 FD

更改文件描述符限制

当碰到“too many open files”错误时，就需要增加文件描述符的限制数量，系统的默认文件描述符都比较大，一般来说，只需增加用户或进程的就可以了

用户或进程

1
2
3
4
5
[root@localhost ~]# ulimit -n
1024
[root@localhost ~]# ulimit -n 10240
[root@localhost ~]# ulimit -n
10240

注意，使用 ulimit 命令更改后只是在当前会话生效，当退出当前会话重新登录后又会回到默认值 1024，要永久更改可以修改文件 /etc/security/limit.conf，如

1
[root@localhost ~]#vi /etc/security/limits.conf

加入 “abc hard nofile 10240”

  • abc：用户名，即允许 test 使用 ulimit 命令更改 FD 限制，最大值不超过 10240，更改后 abc 用户的每一个进程（以 abc 用户运行的进程）可打开的 FD 数量为 10240 个

  • hard：限制类型，有 soft/hard 两种，达到 soft 限制会在系统的日志（一般为/var/log/messages）里面记录一条告警日志，但不影响使用。hard，达到这个限制，有日志且会影响使用。

  • nofile：限制的内容，nofile - max number of open files

  • 1024 ：值

更改后，退出终端重新登录，用 ulimit 看看有没有生效，如果没生效，可以在 abc 用户的.bash_profile 文件加上 ulimit -n 10240 ,以使用户 abc 每次登录时都会将 FD 最大值更改为 10240，如：

1
2
3
4
5
[root@localhost ~]#echo "ulimit -n 10240" >> /home/abc/ .bash_profile
10240
[root@localhost ~]# su - abc
[abc@localhost ~]\$ ulimit -n
10240

limit.conf 文件里面本身已有很详细的使用方法，这个下次可以说说。

系统级别

将整个操作系统可以使用的 FD 数量更改为 51200

1
2
3
[root@localhost ~]# echo "51200" > /proc/sys/fs/file-max
[root@localhost ~]# cat /proc/sys/fs/file-nr
1184    0       51200

像这样更改在系统重启后会恢复到默认值，要永久更改可以在 sysctl.conf 文件加上 fs.file-max = 51200

如：

1
[root@localhost ~]# echo "fs.file-max = 51200" >> /etc/sysctl.conf

获取打开的文件数量

linux 的一切皆为文件，那么如何知道系统/应用打开了哪些或是多少个文件呢？很简单，用 lsof 命令就行了，lsof，list open files 的简写，可列出程序或系统正在使用的文件。

获取整个系统打开的文件数量

1
2
[root@localhost ~]# lsof |wc -l
1864

获取某个用户打开的文件数量

1
2
[root@localhost ~]# lsof -u test |wc -l
15

获取某个程序打开的文件数量

1
2
3
4
[root@localhost ~]# pidof vim
3253
[root@localhost ~]# lsof -p 3253 |wc -l
31

上面所示只是用 lsof 来显示已打开的文件数量，lsof 的功能远不止这些，有兴趣可以 man lsof 看一下

指标 测试值
测试时长 12 小时 15 分
数据量 108000000
平均消费速率（TPS） 6500 条/秒
总结 在这种高峰数据量的情况下，mthinkingdata 会堵塞一部分流量，除非优化利用 Redis 的机制，使服务支持多个 Redis 实例存储
Linux Linux