innodb新特性之buffer pool预热

背景

innodb buffer pool做为innodb最重要的缓存，其缓存命中率的高低会直接影响数据库的性能。因此在数据库发生变更，比如重启、主备切换实例迁移等等，innodb buffer pool 需要一段时间预热，期间数据库的性能会受到明显影响。 另外mysql 5.7以前innodb buffer pool缓存大小修改不是动态的，重启才能生效。因此innodb buffer pool的预热和innodb buffer pool大小的动态修改，对性能要求较高的应用来说是不错的特性，下面我来看看这两个特性的具体实现。

buffer pool 预热

MySQL 5.6以后支持buffer pool预热功能。引入了以下参数, 参数具体含义参见 官方文档。

innodb_buffer_pool_load_nowinnodb_buffer_pool_dump_nowinnodb_buffer_pool_load_at_startupinnodb_buffer_pool_dump_at_startupinnodb_buffer_pool_filename

buffer pool预热分为dump过程和load过程，均由后台线程buf_dump_thread完成。 比如用户发起set命令

set global innodb_buffer_pool_dump_now=on;set global innodb_buffer_pool_load_now=on;

set 命令会立刻返回，具体操作由buf_dump_thread来实现。

• dump 过程

  锁buf_pool 遍历LRU链表，将(space, pageno) 先收集到数组 释放锁 再将数据写入innodb_buffer_pool_filename定有的文件中

• load过程

  从文件读入数组 按（space,pageno)排序数据 依次同步读取页到buffer pool中

dump过程一般比较快，而load过程相对要慢些。

通过 Innodb_buffer_pool_dump_status、 Innodb_buffer_pool_load_status可查看dump/load的状态

另外5.7引入了performance_schema.events_stages_current来显示load进度，每load 32M会更新一条进度信息

select * from performance_schema.events_stages_current;THREAD_ID       19EVENT_ID        1367END_EVENT_ID    NULLEVENT_NAME      stage/innodb/buffer pool loadSOURCE  buf0dump.cc:619TIMER_START     33393877311000TIMER_END       33398961258000TIMER_WAIT      5083947000WORK_COMPLETED  0WORK_ESTIMATED  1440NESTING_EVENT_ID        NULLNESTING_EVENT_TYPE      NULL

WORK_ESTIMATED表示总page数 WORK_COMPLETED表示当前已load page数

dump文件的数据格式如下

#cat ib_buffer_pool |more0,70,10,30,20,40,110,50,6

dump文件比较简单，我们可以编辑此文件来预加载指定page,比较灵活。