select 函数源码简析

阻塞式 I/O:“有美人兮,见之不忘,一日不见兮,思之如狂。”

select:“所用皆鹰腾,破敌过箭疾”

select() 允许一个程序监听多个文件描述符,等待一个或者多个文件描述符的 I/O 操作变成“就绪”状态(比如:可读)。对 select/poll/epoll 的原理与差异不熟悉的同学,可以先看《select/poll/epoll(上)》和《select/poll/epoll 区别》,再回来啃源码。

参数

int select(int nfds, fd_set *readfds, fd_set *writefds,
           fd_set *exceptfds, struct timeval *timeout);
  • int nfds:表示待监听的集合里的最大文件描述符的值 + 1
  • fd_set *readfds、fd_set *writefds、fd_set *exceptfds:三个集合分别存放需要监听读、写、异常三个操作的文件描述符
  • struct timeval *timeout:表示超时时间。传入一个时间值为 0 的 timeval(秒和微秒均为 0)则立刻扫描并返回,设为 NULL 则永远等待,直到有文件描述符就绪

阅读的 Linux 内核版本:linux-2.6.32.68,select 源码位于 fs/select.c 文件。

执行流程

select 函数执行从此开始,关键调用流程如下:

select() -> core_sys_select() -> do_select()

select 的主要操作在 do_select() 函数中完成。

在入口函数 sys_select() 中,主要把超时时间 tvp 的值从用户空间复制到内核空间,并且调用 poll_select_set_timeout() 函数把超时时间的长度加到当前时间上,获得最终的结束时间点 to。由于 poll_select_set_timeout() 的时间精度是纳秒,所以需要转换。

之后调用 core_sys_select() 函数执行主要逻辑。

在主要程序执行完之后,还会调用 poll_select_copy_remaining() 把等待时间中的剩余时间返回给用户态的 tvp。

core_sys_select()

core_sys_select() 函数主要为真正的 select 操作分配存储空间。这里分配了一个名为 stack_fds 的 long 长整型集合。首先预分配了 long stack_fds[SELECT_STACK_ALLOC/sizeof(long)];,根据 SELECT_STACK_ALLOC 的定义,stack_fds 的大小为 256 字节。

之前存放文件描述符集合的类型是 fd_set,根据内核头文件的定义,fd_set 类型在内核里实际上就是 __kernel_fd_set 结构体,里面只包含了一个 unsigned long 类型的数组 fds_bits。这个数组共有 1024/(8 * sizeof(unsigned long)) 个元素,占用空间为 1024 bit。在 select 中文件描述符在集合里是以位图的形式存在的,把文件描述符存放在三个集合中,最大直到 1023,也就是只能监听最多 1024 个文件描述符,并且只能是 0 ~ 1023。

所以,存放文件描述符的数据结构限制了 select() 最多只能监听 1024 个文件描述符。

回到刚刚 core_sys_select() 里的 stack_fds 数组,这个变量占用空间大小是 256 字节,即 SELECT_STACK_ALLOC/sizeof(long) 个 long 元素,合计 2048 bit。内核源码注释里写明 “We need 6 bitmaps (in/out/ex for both incoming and outgoing)”,结合代码可以看到,stack_fds 要存放的是 6 个位图,分别对应用户态传入的存放监听读、写、异常三个操作的文件描述符集合,以及这三个操作在 select 执行过后需要返回的三个集合。

这是 select 的机制,每次执行 select() 之后,函数把“就绪”的文件描述符留下,返回。下一次,再次执行 select() 时,需要重新把需要监听的文件描述符传入。

我认为,如果要节约空间,完全可以在传入的三个集合中进行删减,不必浪费三个集合的空间。(我的想法,可能有其他问题。)

如果刚从栈中分配的 stack_fds 不够存放 6 个集合的数据,那么再从 kmalloc 分配(用于分配大空间)。

6 个集合分别用指针指向 stack_fds 中的不同部分空间,依次利用,间隔大小为 size。

根据 size=FDS_BYTES(n);,它的大小是 ((((n)+(8*sizeof(long))-1)/(8*sizeof(long)))*sizeof(long))。以 64 位系统为例,long 为 8 字节,则大小为 ((n + 64 - 1) / 64) * 8,也就是按每 64 个描述符占一个 long(8 字节)向上取整。n 是用户态程序指定的最大描述符 + 1,如果我要监听的最大文件描述符为 7,n 为 8,由于这是整型运算,则结果为 8(字节)。也就是确保能存下所有描述符,而且大小为 8 字节的倍数。所以 kmalloc 分配的空间 6 个集合是可以存放下去的。

之后从用户态空间把集合数据拷贝过来,并且初始化用于输出的 3 个位图空间为 0。进入 do_select() 函数。

do_select()

在 do_select() 里面,主要是一遍一遍循环遍历每一个文件描述符,查询哪一个为就绪状态。

在外层的循环 for (;;),每一次是整个集合遍历一遍。这是死循环,直到达到触发条件才会退出:

  1. 有就绪的文件描述符
  2. 超时
  3. 中断

第一遍扫描之后,如果还没有任何文件描述符就绪,当前进程会进入睡眠状态,以节约资源,直到下一次被唤醒(由文件描述符变为就绪状态触发唤醒)。

第二层的 for (i = 0; i < n; ++rinp, ++routp, ++rexp) { 循环,每一次是遍历一个 unsigned long 长度的位图,也就是 __NFDBITS 个描述符,这是由第三层循环决定的。从 i < n 可知,因为函数只会循环到 n-1,所以才需要输入的最大文件描述符值 nfds + 1。

第三层 for (j = 0; j < __NFDBITS; ++j, ++i, bit <<= 1) { 循环每次遍历一个 bit 即一个文件描述符,遍历 __NFDBITS 次。

可以看到,第二层每次比较的就是一个 unsigned long 长度的位图。因为对于位图,可以一次比较多位,都没有需要监听的文件描述符就跳过,以加快速度。

循环里先根据文件描述符获得文件结构体,然后调用结构体里 f_op 中挂载的 poll 函数,以获取就绪信息。可以看到 select 的功能依赖文件的驱动实现:

mask = (*f_op->poll)(file, wait);

这是 select 的关键,这里不仅检测了文件是否就绪,而且还把当前进程加入等待队列,如果该文件描述符就绪,则会触发回调,以及唤醒该进程。这需要该文件挂载的驱动的配合。

retval 变量用于累计“就绪”的文件描述符数量,包括 3 个集合所有的。

一整次扫描完成的最后,调用 poll_schedule_timeout 函数,如果还未超时,则进入睡眠,等待就绪的文件描述符唤醒。如果超时,则置 timed_out = 1;。所以可以看到此处为跳出循环的代码,也就是在超时之后,还要再循环一次才能跳出。

最后跳出循环后,调用 poll_freewait(&table); 移出等待队列。

可以看出来,select 的开销大在于每次都要遍历扫描每一个文件描述符就绪状态,并且是从最小的描述符 0 开始比较,做了很多无用功,所以效率很低。随着文件描述符的增加,效率会越来越低。


   转载规则


《select 函数源码简析》 由 吴杭沉 采用 知识共享署名 4.0 国际许可协议 进行许可。
 上一篇
线上四台机器同一时间全部 OOM:一次排查实录 线上四台机器同一时间全部 OOM:一次排查实录
事发:四台机器同一时间全部 OOM昨天晚上突然短信收到 APM(即 Application Performance Management 的简称,我们内部自己搭建了这样一套系统来对应用的性能、可靠性进行线上的监控和预警)大量告警。 画外音
2021-12-21
下一篇 
select、poll、epoll 的区别与对比 select、poll、epoll 的区别与对比
select,poll,epoll 都是 IO 多路复用的机制。I/O 多路复用就是通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。但 select,poll,epoll 本质
2021-12-07
  目录