从MySQL源码深入剖析其网络IO模型实现原理与机制

时间：2026-08-06 18:10

从MySQL源码分析其网络IO模型，启动时创建TCP和UNIX套接字，支持IPv4 IPv6回退。连接处理循环使用poll select监听新连接，采用每连接一线程的线程池模式。VIO层封装非阻塞读写，通过select实现超时等待。线程归还后等待信号量，避免频繁创建销毁。

MySQL 作为全球广泛采用的开源关系型数据库，其网络 IO 模型的设计直接决定了连接处理效率与资源管理方式。本文从源码角度深入剖析 MySQL 网络 IO 的启动流程、连接处理循环、VIO 层实现以及线程模型，帮助读者理解其基于线程池的经典架构。

启动 Socket 监听

MySQL 的入口函数为 mysqld_main，在完成配置加载后，通过 network_init 初始化网络环境。其调用栈如下：

mysqld_main (MySQL Server Entry Point)
|-network_init (初始化网络)
   /* 建立tcp套接字 */
   |-create_socket (AF_INET)
   |-mysql_socket_bind (AF_INET)
   |-mysql_socket_listen (AF_INET)
   /* 建立UNIX套接字*/
   |-mysql_socket_socket (AF_UNIX)
   |-mysql_socket_bind (AF_UNIX)
   |-mysql_socket_listen (AF_UNIX)

在 TCP 套接字初始化过程中，MySQL 充分考虑了 IPv4 与 IPv6 的兼容性：

// 首先创建ipv4连接
ip_sock= create_socket(ai, AF_INET, &a);
// 如果无法创建ipv4连接，则尝试创建ipv6连接
if(mysql_socket_getfd(ip_sock) == INVALID_SOCKET)
    ip_sock= create_socket(ai, AF_INET6, &a);

当 MySQL 快速停止/启动时，可能遇到端口未释放导致绑定失败的情况。此时 MySQL 会进入循环等待，每次重试等待时间为 retry * retry / 3 + 1 秒，直到达到 --port-open-timeout（默认 0）配置的超时时间。

新建连接处理循环

MySQL 通过 handle_connections_sockets 函数处理新建连接，根据操作系统配置使用 poll 或 select 系统调用（非 epoll，以保证可移植性，且 MySQL 瓶颈通常不在网络 IO）。

连接处理采用线程池模式：每个连接对应一个独立线程，连接关闭后线程归还到池中。其调用栈如下：

handle_connections_sockets
|->poll/select
|->new_sock=mysql_socket_accept(...sock...) /*从listen socket中获取新连接*/
|->new THD 连接线程上下文 /* 如果获取不到足够内存，则shutdown new_sock*/
|->mysql_socket_getfd(sock) 从socket中获取
/** 设置为NONBLOCK和环境有关 **/
|->fcntl(mysql_socket_getfd(sock), F_SETFL, flags | O_NONBLOCK);
|->mysql_socket_vio_new
|->vio_init (VIO_TYPE_TCPIP)
   |->(vio->write = vio_write)
   /* 默认用的是vio_read */
   |->(vio->read=(flags & VIO_BUFFERED_READ) ?vio_read_buff :vio_read;)
   |->(vio->viokeepalive = vio_keepalive) /*tcp层面的keepalive*/
   |->.....
|->mysql_net_init
   |->设置超时时间，最大packet等参数
|->create_new_thread(thd) /* 实际是从线程池拿，不够再新建pthread线程 */
   |->最大连接数限制
   |->create_thread_to_handle_connection
      |->首先看下线程池是否有空闲线程
      |->mysql_cond_signal(&COND_thread_cache) /* 有则发送信号 */
      /** 这边的hanlde_one_connection是mysql连接的主要处理函数 */
      |->mysql_thread_create(...handle_one_connection...)

VIO 层

每新建一个连接，都会随之创建 VIO 对象（mysql_socket_vio_new → vio_init），在初始化过程中设置一系列回调函数。

关键回调函数为 vio_read 和 vio_write。在典型环境下，MySQL 将连接 socket 设置为非阻塞模式（O_NONBLOCK），因此 VIO 代码采用非阻塞模式编写。

vio_read

size_t vio_read(Vio *vio, uchar *buf, size_t size)
{
    while ((ret= mysql_socket_recv(vio->mysql_socket, (SOCKBUF_T *)buf, size, flags)) == -1)
    {
        ......
        // 如果上面获取的数据为空，则通过select的方式去获取读取事件，并设置超时timeout时间
        if ((ret= vio_socket_io_wait(vio, VIO_IO_EVENT_READ)))
            break;
    }
}

读取操作通过 while 循环进行，如果 mysql_socket_recv 返回 -1（表示阻塞），则调用 vio_socket_io_wait 等待读取事件，该函数依赖 select 的超时机制：

vio_socket_io_wait
|->vio_io_wait
   |-> (ret= select(fd+1, &readfds, &writefds, &exceptfds, (timeout >= 0) ? &tm : NULL))

注意：read_timeout 是针对每次 socket recv 操作，而非整个 packet 的读取。因此可能出现超过 read_timeout 但 MySQL 仍未报错的情况。

vio_write

写入的实现模式与读取一致，也通过 select 实现超时判定：

size_t vio_write(Vio *vio, const uchar* buf, size_t size)
{
    while ((ret= mysql_socket_send(vio->mysql_socket, (SOCKBUF_T *)buf, size, flags)) == -1)
    {
        int error= socket_errno;
        /* The operation would block? */
        // 处理EAGAIN和EWOULDBLOCK返回，NON_BLOCK模式都必须处理
        if (error != SOCKET_EAGAIN && error != SOCKET_EWOULDBLOCK)
            break;
        /* Wait for the output buffer to become writable. */
        if ((ret= vio_socket_io_wait(vio, VIO_IO_EVENT_WRITE)))
            break;
    }
}

连接处理线程

从 mysql_thread_create(...handle_one_connection...) 可以看出，每个连接的处理函数为 handle_one_connection。其处理流程如下：

for(;;)
{
    // 这边做了连接的handshake和auth的工作
    rc= thd_prepare_connection(thd);
    // 和通常的线程处理一样，一个无限循环获取连接请求
    while(thd_is_connection_alive(thd))
    {
        if(do_command(thd))
            break;
    }
    // 出循环之后，连接已经被client端关闭或者出现异常
    // 这边做了连接的销毁动作
    end_connection(thd);
    end_thread:
    ...
    // 这边调用end_thread做清理动作，并将当前线程返还给线程池重用
    // end_thread对应为one_thread_per_connection_endif
    if (MYSQL_CALLBACK_ELSE(thread_scheduler, end_thread, (thd, 1), 0))
        return;
    ...
    // 这边current_thd是个宏定义，其实是current_thd();
    // 主要是从线程上下文中获取新塞进去的thd
    // my_pthread_getspecific_ptr(THD*,THR_THD);
    thd= current_thd;
    ...
}

每个 worker 线程通过无限循环处理请求，直到连接关闭或异常发生。

线程的归还过程

MySQL 通过 one_thread_per_connection_end（即 end_thread）归还线程到线程池：

MYSQL_CALLBACK_ELSE(...end_thread)
one_thread_per_connection_end
|->thd->release_resources()
|->......
|->block_until_new_connection

在新连接尚未到来之前，线程会等待在信号量上（C/C++ mutex condition 的标准使用模式）：

static bool block_until_new_connection()
{
    mysql_mutex_lock(&LOCK_thread_count);
    ......
    while (!abort_loop && !wake_pthread && !kill_blocked_pthreads_flag)
        mysql_cond_wait(&x1, &LOCK_thread_count);
    ......
    // 从等待列表中获取需要处理的THD
    thd= waiting_thd_list->front();
    waiting_thd_list->pop_front();
    ......
    // 将thd放入到当前线程上下文中
    // my_pthread_setspecific_ptr(THR_THD,this)
    thd->store_globals();
    ......
    mysql_mutex_unlock(&LOCK_thread_count);
    .....
}

整个过程如下图所示：

将 THD 放入线程上下文，可以显著减少调用栈中传递参数的数量。

优势与限制

MySQL 的网络 IO 模型采用经典的线程池技术，每个连接由独立的线程处理。相比 reactor 模型，性能上不占优势，但 MySQL 的瓶颈通常不在网络 IO 上，这种方式可以节省精力，专注于 SQL 处理等核心优化。

常见误区

read_timeout 理解偏差：read_timeout 作用于每次 recv 调用，而非整个 packet 的读取过程，可能导致超时行为与预期不符。
非阻塞模式与 select 结合：VIO 层使用非阻塞 socket 配合 select 实现超时，并非真正的异步 IO，但可移植性好。