一番调查后你意识到大多数地盘空间被 InnoDB 的共享表空间 ibdata1 使用。而你已经启用了innodb_file_per_table,所以问题是:

ibdata1存了什么?

当你启用了innodb_file_per_table,表被存储在他们自己的表空间里,但是共享表空间仍然在存储其它的 InnoDB 内部数据:

  • 数据字典,也就是 InnoDB 表的元数据

  • 变更缓冲区

  • 双写缓冲区

  • 撤销日志

    其中的一些在 Percona 服务器上可以被配置来避免增长过大的。例如你可以通过innodb_ibuf_max_size 设置最大变更缓冲区,或设置innodb_doublewrite_file 来将双写缓冲区存储到一个分离的文件。

    MySQL 5.6 版中你也可以创建外部的撤销表空间,所以它们可以放到自己的文件来替代存储到 ibdata1。可以看看这个文档。

    什么引起 ibdata1 增长迅速?

    当 MySQL 出现问题通常我们需要执行的第一个命令是:

1.  SHOW ENGINE INNODB STATUS/G

这将展示给我们一些很有价值的信息。我们从** TRANSACTION(事务)**部分开始检查,然后我们会发现这个:

1.  ---TRANSACTION 36E,ACTIVE 1256288 sec

2.  MySQL thread id 42, OS thread handle 0x7f8baaccc700, query id 7900290 localhost root

3.  show engine innodb status

4.  Trx read view will not see trx with id >= 36F, sees < 36F

这是一个最常见的原因,一个14天前创建的相当老的事务。这个状态是活动的,这意味着 InnoDB 已经创建了一个数据的快照,所以需要在撤销日志中维护旧页面,以保障数据库的一致性视图,直到事务开始。如果你的数据库有大量的写入任务,那就意味着存储了大量的撤销页。

如果你找不到任何长时间运行的事务,你也可以监控INNODB STATUS 中的其他的变量,“History listlength(历史记录列表长度)”展示了一些等待清除操作。这种情况下问题经常发生,因为清除线程(或者老版本的主线程)不能像这些记录进来的速度一样快地处理撤销。

我怎么检查什么被存储到了 ibdata1 里了?

很不幸,MySQL 不提供查看什么被存储到 ibdata1 共享表空间的信息,但是有两个工具将会很有帮助。第一个是马克·卡拉汉制作的一个修改版 innochecksum ,它发布在这个漏洞报告里。

它相当易于使用:

1.  # ./innochecksum /var/lib/mysql/ibdata1

2.  0 bad checksum

3.  13 FIL_PAGE_INDEX

4.  19272 FIL_PAGE_UNDO_LOG

5.  230 FIL_PAGE_INODE

6.  1 FIL_PAGE_IBUF_FREE_LIST

7.  892 FIL_PAGE_TYPE_ALLOCATED

8.  2 FIL_PAGE_IBUF_BITMAP

9.  195 FIL_PAGE_TYPE_SYS

10.1 FIL_PAGE_TYPE_TRX_SYS

11.1 FIL_PAGE_TYPE_FSP_HDR

12.1 FIL_PAGE_TYPE_XDES

13.0 FIL_PAGE_TYPE_BLOB

14.0 FIL_PAGE_TYPE_ZBLOB

15.0 other

16.3 max index_id

全部的 20608 中有 19272 个撤销日志页。这占用了表空间的 93%

第二个检查表空间内容的方式是杰里米·科尔制作的 InnoDB Ruby 工具。它是个检查 InnoDB 的内部结构的更先进的工具。例如我们可以使用 space-summary 参数来得到每个页面及其数据类型的列表。我们可以使用标准的 Unix 工具来统计撤销日志页的数量:

1.  # innodb_space -f /var/lib/mysql/ibdata1space-summary | grep UNDO_LOG | wc -l

2.  19272

尽管这种特殊的情况下,innochedcksum 更快更容易使用,但是我推荐你使用杰里米的工具去了解更多的 InnoDB 内部的数据分布及其内部结构。

好,现在我们知道问题所在了。下一个问题:

我该怎么解决问题?

这个问题的答案很简单。如果你还能提交语句,就做吧。如果不能的话,你必须要杀掉线程开始回滚过程。那将停止 ibdata1 的增长,但是很显然,你的软件会出现漏洞,有些人会遇到错误。现在你知道如何去鉴定问题所在,你需要使用你自己的调试工具或普通的查询日志来找出谁或者什么引起的问题。

如果问题发生在清除线程,解决方法通常是升级到新版本,新版中使用一个独立的清除线程替代主线程。更多信息查看该文档

有什么方法回收已使用的空间么?

没有,目前还没有一个容易并且快速的方法。InnoDB 表空间从不收缩...参见10 年之久的漏洞报告,最新更新自詹姆斯·戴(谢谢):

当你删除一些行,这个页被标为已删除稍后重用,但是这个空间从不会被回收。唯一的方法是使用新的 ibdata1 启动数据库。要做这个你应该需要使用 mysqldump 做一个逻辑全备份,然后停止 MySQL 并删除所有数据库、ib_logfile*、ibdata1* 文件。当你再启动 MySQL 的时候将会创建一个新的共享表空间。然后恢复逻辑备份。

总结

当 ibdata1 文件增长太快,通常是 MySQL 里长时间运行的被遗忘的事务引起的。尝试去解决问题越快越好(提交或者杀死事务),因为不经过痛苦缓慢的 mysqldump 过程,你就不能回收浪费的磁盘空间。

也是非常推荐监控数据库以避免这些问题。我们的 MySQL 监控插件包括一个 Nagios 脚本,如果发现了一个太老的运行事务它可以提醒你。

转载于:https://blog.51cto.com/6226001001/1676110

为什么 mysql 里的 ibdata1 文件不断的增长?相关推荐

  1. mysql里的ibdata1文件

    mysql大多数磁盘空间被 InnoDB 的共享表空间 ibdata1 使用.而你已经启用了 innodb_file_per_table,所以问题是: ibdata1存了什么? 当你启用了innodb ...

  2. mysql 5.6 ibdata1_mysql 里的 ibdata1 文件不断的增长?

    我们在 Percona 支持栏目经常收到关于 MySQL 的 ibdata1 文件的这个问题.当监控服务器发送一个关于 MySQL 服务器存储的报警时,恐慌就开始了 -- 就是说磁盘快要满了.一番调查 ...

  3. 查看mysql的ibdata1_mysql 里的 ibdata1 文件

    为何 mysql 里的 ibdata1 文件不断的增加? php ibdata1 filemysql 咱们在 Percona 支持栏目常常收到关于 MySQL 的 ibdata1 文件的这个问题.li ...

  4. mysql 迁移 ibdata1_mysql ibdata1文件迁移

    目的:主机系统/var目录快满了,经查询最大的文件是mysql的ibdata1文件,有17G大小,故需要迁移这个文件到其他目录下,以释放/var目录空间. 1.先备份下数据库是个好习惯 # mysql ...

  5. mysql ibdata作用_mysql data文件夹下ibdata1 文件作用

    ibdata1这个文件超级大, 查了一下, 大概的作用如下 是储存的格式 INNODB类型数据状态下, ibdata用来储存文件的数据 而库名的文件夹里面的那些表文件只是结构而已 由于mysql4.1 ...

  6. mysql data文件夹下的ibdata1 文件作用

    这个文件超级大, 查了一下, 大概的作用如下 是储存的格式 INNODB类型数据状态下, ibdata用来储存文件的数据 而库名的文件夹里面的那些表文件只是结构而已 由于mysql4.1默认试inno ...

  7. mysql ibdata1 压缩_MySQL ibdata1文件太大的解决办法

    在MySQL数据库中,如果不指定innodb_file_per_table=1参数单独保存每个表的数据,MySQL的数据都会存放在ibdata1文件里,时间久了这个文件就会变的非常大. 下面是参考网上 ...

  8. mysql data 文件过大_MySQL ibdata1文件太大的解决办法

    在MySQL数据库中,如果不指定innodb_file_per_table=1参数单独保存每个表的数据,MySQL的数据都会存放在ibdata1文件里,时间久了这个文件就会变的非常大. 下面是参考网上 ...

  9. mysql data ibdata1_database - 如何在MySQL中收缩/清除ibdata1文件

    database - 如何在MySQL中收缩/清除ibdata1文件 我在localhost中使用MySQL作为在R中执行统计的"查询工具",也就是说,每次运行R脚本时,我创建一个 ...

最新文章

  1. 均方根误差不超过_描述数值预报随机误差的利器:随机物理扰动组合方案
  2. JavaWeb课程复习资料(二)——idea创建JDBC(FactoryDB)
  3. php模块化安装教程,homestead安装php 扩展 教程
  4. 多余的读写端口什么时候会对程序造成影响_程序员需要了解的硬核知识之控制硬件...
  5. 关于那些表单的验证码
  6. 利用 AFN 上传相册或拍照图片
  7. 动物统计 nyoj286
  8. 获取css style值
  9. 如何在html中插入表情包,一款支持插入表情的编辑器实现代码(简单思路挺重要)...
  10. android连接wifi不能上网,手机已经连接wifi但无法上网的详细解决方法
  11. 多示例论文泛读:Revisiting Multiple Instance Neural Networks (2016 mi-Net MI-Net)
  12. 3Dmax2014安装问题
  13. App启动页倒计时圆形并且跳过功能实现
  14. BootCDN——React入门学习
  15. get查询IP PHP源码,ip归属地查询代码
  16. python基础:面向对象的应用--搬家具。
  17. 关于keras-yolov3-deepsort
  18. SoundPool播放系统提示音
  19. 华为鸿蒙麒麟玉兔_华为注册整本山海经?操作系统取名鸿蒙芯片取名麒麟
  20. 华为AC旁路二层组网直接转发示例

热门文章

  1. linux环境变量权限不够,linux环境变量及权限的理解
  2. 计算机c语言知识点txt,计算机二级C语言(重要知识点)
  3. php5.5 pdo mysql_PHP5中PDO的简单使用
  4. linux 权限分割,sudo使用之实现权限分配
  5. java培训学费_太原java培训班价格表
  6. ssh 连接linux 乱码问题,SSH 连接 Ubuntu 时的中文乱码问题
  7. jfinal html页面在多个路径,jfinal不能正确加载html网页,总是报错的解决方法
  8. java请求百度短链接_长链接生成短链接Java源码(调用百度接口)
  9. python中await async_[转载]python中的await和async
  10. 对check list理解