一、前言

上篇的Connection Manager中,曾提及对于一个新到来的Connection,服务器会创建一个新的线程来处理这个连接。

其实没那么简单,为了提高系统效率,减少频繁创建线程和中止线程的系统消耗,Mysql使用了线程缓冲区的概念,即如果

一个连接断开,则并不销毁承载其的线程,而是将此线程放入线程缓冲区,并处于挂起状态,当下一个新的Connection到来

时,首先去线程缓冲区去查找是否有空闲的线程,如果有,则使用之,如果没有则新建线程。本问主要介绍这个线程缓冲区,

首先介绍下基本的概念。

二、基本概念

1.线程创建函数

大家知道,Mysql现在是插件式的存储引擎,只要实现规定的接口,就可实现自己的存储引擎。故Mysql的线程创建除了

出现在主服务器框架外,存储引擎也可能会进行线程的创建。通过设置断点,在我调试的版本中,发现了两个创建线程的函数。

pthread_create:Mysql自用的创建线程函数
os_thread_create:存储引擎innobase的创建线程的函数

os_thread_create是存储引擎innobase的线程函数,先搁浅不研究了,重点看下pthread_create,首先看下其源码。

int pthread_create(pthread_t *thread_id, pthread_attr_t *attr,
           pthread_handler func, void *param)
{
  HANDLE hThread;
  struct pthread_map *map;
  DBUG_ENTER("pthread_create");
  if (!(map=malloc(sizeof(*map))))
    DBUG_RETURN(-1);

map->func=func; map->param=param;

  pthread_mutex_lock(&THR_LOCK_thread);
#ifdef __BORLANDC__
  hThread=(HANDLE)_beginthread((void(_USERENTRY *)(void *)) pthread_start,
                   attr->dwStackSize ? attr->dwStackSize :
                   65535, (void*) map);
#else

hThread=(HANDLE)_beginthread((void( __cdecl *)(void *)) pthread_start, attr->dwStackSize ? attr->dwStackSize : 65535, (void*) map);

#endif
  DBUG_PRINT("info", ("hThread=%lu",(long) hThread));
  *thread_id=map->pthreadself=hThread;
  pthread_mutex_unlock(&THR_LOCK_thread);
  if (hThread == (HANDLE) -1)
  {
    int error=errno;
    DBUG_PRINT("error",
           ("Can't create thread to handle request (error %d)",error));
    DBUG_RETURN(error ? error : -1);
  }
  VOID(SetThreadPriority(hThread, attr->priority)) ;
  DBUG_RETURN(0);
}

上面代码首先构造了一个map结构体,成员分别是函数地址和传入参数。然后调用操作系统的接口,_beginthread,但是执行函数并不是传入的函数——func,而是pthread_start,参数为map。继续跟踪pthread_start。

pthread_handler_t pthread_start(void *param)
{
  pthread_handler

func=((struct pthread_map *) param)->func

;
  void *func_param=((struct pthread_map *) param)->param;
  my_thread_init();         /* Will always succeed in windows */
  pthread_mutex_lock(&THR_LOCK_thread);   /* Wait for beginthread to return */
  win_pthread_self=((struct pthread_map *) param)->pthreadself;
  pthread_mutex_unlock(&THR_LOCK_thread);
  free((char*) param);            /* Free param from create */
  pthread_exit((void*) (*func)(func_param));
  return 0;               /* Safety */
}

可以看出,pthread_start中调用了map的func元素,作为真正执行的函数体。OK,创建线程的函数跟踪到此!

2.服务器启动时创建了哪些函数?

通过在两个创建线程的地方设置断点,总结了下,在服务器启动时,创建了如下的线程。

pthread_create创建的线程

创建线程函数 线程执行函数

create_shutdown_thread

handle_shutdown

start_handle_manager

handle_manager

handle_connections_methods

handle_connections_sockets

innobase的os_thread_create创建的线程:

创建线程函数 线程执行函数

innobase_start_or_create_for_mysql

io_handler_thread(4个)

recv_recovery_from_checkpoint_finish

trx_rollback_or_clean_all_without_sess

innobase_start_or_create_for_mysql

srv_lock_timeout_thread

 

srv_error_monitor_thread

 

srv_monitor_thread

 

srv_master_thread

还可以在调试过程中,通过暂停来看此时服务器中的线程,如下图:

三、线程缓冲池

Mysql支持线程缓存,在多线程连接模式下,如果连接断开后,将这个线程放入空闲线程缓冲区,在下次有连接到来时,

先去缓冲池中查找是否有空闲线程,有则用之,无则创建。启动时可以设置线程缓冲池的数目:

Mysqld.exe --thread_cache_size=10

在一个连接断开时,会调用cache_thread函数,将空闲的线程加入到cache中,以备后用。源码如下:

static bool cache_thread()
{
  safe_mutex_assert_owner(&LOCK_thread_count);
  if (

cached_thread_count < thread_cache_size

&&
     ! abort_loop && !kill_cached_threads)
 {
   /* Don't kill the thread, just put it in cache for reuse */
   DBUG_PRINT("info", ("Adding thread to cache"));
   cached_thread_count++;
   while (!abort_loop && ! wake_thread && ! kill_cached_threads)
     (void) pthread_cond_wait(&COND_thread_cache, &LOCK_thread_count);
   cached_thread_count--;
   if (kill_cached_threads)

pthread_cond_signal(&COND_flush_thread_cache);

  if (wake_thread)
  {
    THD *thd;
    wake_thread--;
    thd= thread_cache.get();
    thd->thread_stack= (char*) &thd;          // For store_globals
    (void) thd->store_globals();
    /*
      THD::mysys_var::abort is associated with physical thread rather
      than with THD object. So we need to reset this flag before using
      this thread for handling of new THD object/connection.
    */
    thd->mysys_var->abort= 0;
    thd->thr_create_utime= my_micro_time();
    threads.append(thd);
    return(1);
  }
}
return(0);

}

上面我们的启动参数设置线程缓冲区为10,此时对应代码里面的thread_cache_size = 10,cached_thread_count记录

了此刻cache中的空闲线程数目,只有在cache未满的情况下,才会将新的空闲线程加入缓冲池中。加入到缓冲区其实就是将线

程挂起,pthread_cond_wait函数便是线程等待函数,在此函数中,会调用WaitForMultipleObjects进行事件等待。具体源码

如下:

int pthread_cond_timedwait(pthread_cond_t *cond, pthread_mutex_t *mutex,
                           struct timespec *abstime)
{
  int result;
  long timeout;
  union ft64 now;
  if( abstime != NULL )
  {
    GetSystemTimeAsFileTime(&now.ft);
    /*
      Calculate time left to abstime
      - subtract start time from current time(values are in 100ns units)
      - convert to millisec by dividing with 10000
    */
    timeout= (long)((abstime->tv.i64 - now.i64) / 10000);
     
    /* Don't allow the timeout to be negative */
    if (timeout < 0)
      timeout= 0L;
    /*
      Make sure the calucated timeout does not exceed original timeout
      value which could cause "wait for ever" if system time changes
    */
    if (timeout > abstime->max_timeout_msec)
      timeout= abstime->max_timeout_msec;
  }
  else
  {
    /* No time specified; don't expire */
    timeout= INFINITE;
  }
  /*
    Block access if previous broadcast hasn't finished.
    This is just for safety and should normally not
    affect the total time spent in this function.
  */
  WaitForSingleObject(cond->broadcast_block_event, INFINITE);
  EnterCriticalSection(&cond->lock_waiting);
  cond->waiting++;
  LeaveCriticalSection(&cond->lock_waiting);
  LeaveCriticalSection(mutex);

result= WaitForMultipleObjects(2, cond->events, FALSE, timeout);

  EnterCriticalSection(&cond->lock_waiting);
  cond->waiting--;
   
  if (cond->waiting == 0)
  {
    /*
      We're the last waiter to be notified or to stop waiting, so
      reset the manual event.
    */
    /* Close broadcast gate */
    ResetEvent(cond->events[BROADCAST]);
    /* Open block gate */
    SetEvent(cond->broadcast_block_event);
  }
  LeaveCriticalSection(&cond->lock_waiting);
   
  EnterCriticalSection(mutex);
  return result == WAIT_TIMEOUT ? ETIMEDOUT : 0;
}

此处是等待时间,何处进行事件通知呢?我们再次来到上篇所提及的为新的连接创建线程的代码中:

void create_thread_to_handle_connection(THD *thd)
{
  if (cached_thread_count > wake_thread)
  {
    /* Get thread from cache */
    thread_cache.append(thd);
    wake_thread++;

pthread_cond_signal(&COND_thread_cache);

  }
  Else
...
}

上篇文章我们其实只讲了ELSE分支,而忽略了IF分支。wake_thread代表了唤醒的线程数,即在线程缓冲区中被再次使用的

线程,如果cache中的总数>被重新使用的数目,说明还有空闲的线程,此时进入if分支,调用phtread_cond_signal唤醒上面挂起

的空闲线程。

线程管理就到此为止了,这里只是介绍了下线程缓冲区的工作原理,并没有具体去介绍如何利用EVENT进行线程的挂起和唤醒,这些都是借助了操作系统的特性,有兴趣的可以自己研究下。这篇就到此为止,下节会介绍Mysql的用户身份认证原理和实现。

PS. 男怕入错行,夜半三更忙,一行又一行

踏着落叶,追寻着我的梦想。转载请注明出处

转载于:https://www.cnblogs.com/xumaojun/p/8541564.html

Mysql源码学习——Thread Manager相关推荐

  1. Mysql源码学习——八度空间

    学习完词法分析和语法分析后,开始进入Mysql源码的正式学习之旅了.这么多模块,肿么入手呢?!还好从网上搜到了一个模块划分,以后就尽可能根据这个模块划分一步一步的跟踪源码,揭开Mysql的面纱. 我们 ...

  2. mysql源码学习 vc项目解决方案文件_Mysql源码学习——源码目录结构

    目录清单 目录名 注释 Bdb 伯克利DB表引擎 BUILD 构建工程的脚本 Client 客户端 Cmd-line-utils 命令行工具 Config 构建工程所需的一些文件 Dbug Fred ...

  3. Mysql源码学习——源码目录结构

    目录清单 目录名 注释 Bdb 伯克利DB表引擎 BUILD 构建工程的脚本 Client 客户端 Cmd-line-utils 命令行工具 Config 构建工程所需的一些文件 Dbug Fred ...

  4. MySQL源码学习——DBUG调试

    一.前言 在规模稍微大点的项目中,为了方便快速找到bug的所在,我们往往需要在代码中加入一些调试用的代码,比如加入一些printf,打印出一些重点的信息:加入assert,进行断言判断.这些比较随意的 ...

  5. MySQL源码学习:MySQL中禁止跨库访问的实现

    摘要:  先说一下这里"跨库"的意思:当前use的是db1, 仍可以使用select * from db2.table1来访问table1表. 这样使得我们需要访问同一个MySQL ...

  6. 读 MySQL 源码再看 INSERT 加锁流程

    欢迎关注方志朋的博客,回复"666"获面试宝典 在之前的博客中,我写了一系列的文章,比较系统的学习了 MySQL 的事务.隔离级别.加锁流程以及死锁,我自认为对常见 SQL 语句的 ...

  7. webrtc源码学习 - 点对点(P2P)链接过程(peer connection)

    创建PC pc 是 peer connection 的简写,以下文章中pc 都特指 peer connection PeerConnection 是webrtc 中链接过程非常重要的接口,提供了包括, ...

  8. 第八课 k8s源码学习和二次开发原理篇-KubeBuilder使用和Controller-runtime原理

    第八课 k8s源码学习和二次开发原理篇-KubeBuilder使用和Controller-runtime原理 tags: k8s 源码学习 categories: 源码学习 二次开发 文章目录 第八课 ...

  9. 博通Broadcom SDK源码学习与开发10——Cable Modem IPv6地址

    声明:原创作品,严禁用于商业目的. 本系列文章将全面剖析以Bcm33xxx芯片开发Cablemodem产品的SDK源码为例,从编译系统到各个功能模块进行分析与探讨. 文章目录 0.写在前篇 1. 相关 ...

最新文章

  1. 注册时发短信如何防止别人恶意调用短信接口
  2. maven进行junit测试时报错(二)
  3. 二阶矩阵转置怎么求_矩阵求导术(下)
  4. python无法安装第三方库read time out_解决pip install的时候报错timed out的问题
  5. 电脑上老出现万象预览的广告_如何极速搜索“我的电脑”全部文件?搜索神器推荐!...
  6. python改变数组元素排序
  7. 水晶报表切换语言_BI软件一键做报表,用过才知道有多快
  8. [混音插件]板岩混响效果器
  9. 条码打印软件如何批量导入图片和图片名称
  10. ddl是什么意思(ddl是什么意思(网络语ddl是什么梗))
  11. Windows10局域网找不到共享电脑
  12. python图像处理第七课--图像缩放、翻转、旋转、平移--小白的成长历程
  13. 用C语言实现一个cat命令
  14. 分享15个英文SEO长尾关键词挖掘分析工具
  15. Python+Neo4j构建时光网TOP100电影知识图谱
  16. asm实现注解打印log
  17. 云原生周报 | 百度开源千万级CPS压测软件 dperf;BFE Server v1.5.0 发布
  18. 移动端 --- 区分苹果终端和安卓终端
  19. c语言编译器手机版使用说明,C语言编译器怎么用,C语言编译器使用教程
  20. STP Viewer无法打开stp文件

热门文章

  1. 计算机网络交换机组网及虚拟局域网实验报告,计算机网络实验报告材料(虚拟局域网).doc...
  2. 怎么区分zh和ch_zh,ch,sh,和z,c,s怎么分辨?
  3. Python源码深度解析—float空闲对象缓存池
  4. [蓝桥杯]试题 基础练习 Huffuman树
  5. IP组播之组管理协议IGMP
  6. bzoj 2464: 中山市选[2009]小明的游戏(BFS)
  7. bzoj 1690: [Usaco2007 Dec]奶牛的旅行(01分数规划--最优比率环)
  8. C++ STL 容器的合并、求差集、交集等操作实例 含详细注释版
  9. [Python] 索引序列函数:enumerate() / enumerate(sequence, start=0)
  10. grafana将自己的数据库(hbase)设置为数据源