mysql优化---第7篇:参数 innodb_buffer_pool_instances设置

摘要:1 innodb_buffer_pool_instances可以开启多个内存缓冲池,把需要缓冲的数据hash到不同的缓冲池中,这样可以并行的内存读写。

2 innodb_buffer_pool_instances 参数显著的影响测试结果,特别是非常高的 I/O 负载时。

3 实验环境下, innodb_buffer_pool_instances=8 在很小的 buffer_pool 大小时有很大的不同,而使用大的 buffer_pool 时,innodb_buffer_pool_instances=1 的表现最棒。


1 定义

The number of regions that the InnoDB buffer pool is divided into. For systems with buffer pools in the multi-gigabyte range, dividing the buffer pool into separate instances can improve concurrency, by reducing contention as different threads read and write to cached pages. Each page that is stored in or read from the buffer pool is assigned to one of the buffer pool instances randomly, using a hashing function. Each buffer pool manages its own free lists, flush lists, LRUs, and all other data structures connected to a buffer pool, and is protected by its own buffer pool mutex.

This option takes effect only when you set the innodb_buffer_pool_size to a size of 1 gigabyte or more. The total size you specify is divided among all the buffer pools. For best efficiency, specify a combination ofinnodb_buffer_pool_instances and innodb_buffer_pool_size so that each buffer pool instance is at least 1 gigabyte.

  • 测试日期: Oct-2012
  • 测试目的: 测试 MySQL 5.6.7 的表现
  • 硬件换
    • 服务器: Dell PowerEdge R710
    • CPU: 2x Intel(R) Xeon(R) CPU E5-2660 0 @ 2.20GHz
    • 内存: 192GB(这个内存太猛了)
    • 存储: Very Fast PCIe Flash Card
    • 文件系统: ext4
  • 软件
    • 操作系统: CentOS 6.3
    • MySQL 版本: 5.6.7-RC
  • 测试规范
    • 测试工具: tpcc-mysql
    • 测试数据: 2500W (~250GB of data)
    • 测试时间: 总共测试 4000 秒,但只取最后的 2000 秒,避免因为冷启动的问题导致测试结果不准确
  • 不同的测试参数: 使用几组不同的 innodb_buffer_pool_size:13, 25, 50, 75, 100, 125GB ,innodb_buffer_pool_instances1 and 8, and innodb_log_file_size2x4GB and 2x8GB.

测试结果:

第一个结果使用的事 2x4GB 的 InnoDB 日志文件:

我们可看出当 innodb_buffer_pool_instances=8 在很小的 buffer_pool 大小时有很大的不同,而使用大的 buffer_pool 时,innodb_buffer_pool_instances=1 的表现最棒。

测试结果在大的 buffer_pool 时是很稳定的,原因是 InnoDB 使用异步 flush 模式,在新的 InnoDB flush 机制下以前的问题已经修复。不过 Dimitry 告诉我需要一个更大的 InnoDB 日志文件来获得更稳定的结果。

下面是 2x4GB vs 2x8GB innodb 日志文件大小的比较:

很显然,使用更大的日志文件,测试结果更稳定!

结论:

innodb_buffer_pool_instances 参数显著的影响测试结果,特别是非常高的 I/O 负载时。

在 MySQL 5.6 ,最终是可以获得非常稳定的吞吐,但自适应的 flush 机制仍需较大的日志文件。

MySQL 配置如下: 
01 [mysqld]
02 gdb
03  
04 innodb_file_per_table = true
05 innodb_data_file_path = ibdata1:100M:autoextend
06 innodb_flush_method = O_DIRECT
07 innodb_log_buffer_size = 256M
08  
09 innodb_flush_log_at_trx_commit = 1
10 innodb_buffer_pool_size = 125G
11 innodb_buffer_pool_instances=8
12  
13 innodb_log_file_size = 4G
14 innodb_log_files_in_group = 2
15 #####plugin options
16 innodb_read_io_threads = 16
17 innodb_write_io_threads = 16
18 innodb_io_capacity = 20000
19 innodb_io_capacity_max = 40000
20  
21  
22 #not innodb options (fixed)
23 port = 3306
24 back_log = 50
25 max_connections = 2000
26 max_prepared_stmt_count=500000
27 max_connect_errors = 10
28 table_open_cache = 2048
29 max_allowed_packet = 16M
30 binlog_cache_size = 16M
31 max_heap_table_size = 64M
32 sort_buffer_size = 4M
33 join_buffer_size = 4M
34 thread_cache_size = 1000
35 query_cache_size = 0
36 query_cache_type = 0
37 ft_min_word_len = 4
38 thread_stack = 192K
39 tmp_table_size = 64M
40  
41 server-id = 10
42 #*** MyISAM Specific options
43 key_buffer_size = 8M
44 read_buffer_size = 1M
45 read_rnd_buffer_size = 4M
46 bulk_insert_buffer_size = 8M
47 myisam_sort_buffer_size = 8M
48 myisam_max_sort_file_size = 10G
49 myisam_repair_threads = 1
50 myisam_recover
51 user=root
52 skip-grant-tables


转自:http://www.phpchina.com/archives/view-41968-1.html

<think>好的,用户现在想在线修改MySQLinnodb_buffer_pool_size参数,并且已经提供了当前的配置详情。首先,我需要确认用户使用的MySQL版本,因为动态调整这个参数需要5.7及以上版本。用户给出的配置显示innodb_buffer_pool_size是1073741824字节,也就是1GB,这可能偏小,尤其是在有更多可用内存的情况下。 接下来,用户提供的引用里提到了几个关键点:动态调整的条件、缓冲池命中率的计算、实例数的设置以及如何判断是否需要增加缓冲池大小。结合这些信息,我需要指导用户如何安全地在线调整参数,同时避免常见错误。 用户可能需要知道具体的调整步骤,比如使用SET GLOBAL命令,但需要注意权限问题。同时,调整后的验证步骤也很重要,比如检查缓冲池命中率是否提升,或者通过SHOW STATUS命令查看使用情况。另外,用户提供的引用4提到实例数的设置,可能需要建议将实例数设置为8-16,尤其是在较大的缓冲池情况下。 另外,用户之前的问题中提到插入性能中等偏低,所以调整缓冲池的同时可能还需要其他优化措施,比如调整事务提交频率或日志设置。需要提醒用户调整后的风险,比如内存不足导致的服务不稳定,以及分阶段调整的建议。 最后,用户可能需要了解如何持久化配置到my.cnf,避免重启后失效,这也是需要注意的地方。总结来说,回答需要涵盖调整步骤、验证方法、相关参数优化(如实例数)、风险提示以及后续优化建议,确保用户能够全面理解并安全操作。</think>### 分步解决方案:在线调整`innodb_buffer_pool_size`参数 --- #### **第一步:验证动态调整可行性** ```sql -- 确认MySQL版本是否≥5.7(支持在线调整) SELECT VERSION(); -- 查看当前缓冲池配置 SHOW VARIABLES LIKE 'innodb_buffer_pool%'; ``` 根据你的配置信息[^1]: - `innodb_buffer_pool_size = 1GB`(当前值) - `innodb_buffer_pool_instances = 8`(已满足多实例要求[^4]) - `innodb_buffer_pool_chunk_size = 128MB`(需确保新尺寸是128MB的整数倍) --- #### **第二步:动态调整缓冲池大小** ```sql -- 在线调整(示例:从1GB调整到4GB) SET GLOBAL innodb_buffer_pool_size = 4294967296; -- 4GB(单位:字节) ``` **关键约束**: 1. 调整耗时约$8-20$秒(每GB需要$2-5$秒[^2]) 2. 新值必须是`innodb_buffer_pool_chunk_size * instances`的整数倍 本例中:$128MB \times 8 = 1GB$,因此可调整为$4GB = 4 \times 1GB$ --- #### **第三步:监控调整过程** ```sql -- 查看调整进度(观察状态是否为"Completed") SHOW STATUS WHERE Variable_name LIKE 'Innodb_buffer_pool_resize_status'; ``` 典型输出: ``` +----------------------------------+--------------------------+ | Variable_name | Value | +----------------------------------+--------------------------+ | Innodb_buffer_pool_resize_status | Resizing buffer pool... | +----------------------------------+--------------------------+ ``` --- #### **第四步:验证调整结果** ```sql -- 确认新参数已生效 SHOW VARIABLES LIKE 'innodb_buffer_pool_size'; -- 计算缓冲池利用率[^3] SELECT ROUND((SELECT Variable_value FROM information_schema.global_status WHERE Variable_name = 'Innodb_buffer_pool_pages_data') / (SELECT Variable_value FROM information_schema.global_status WHERE Variable_name = 'Innodb_buffer_pool_pages_total') * 100, 2) AS buffer_pool_usage; ``` **优化目标**: - 使用率≥95%:当前配置合理[^3] - 使用率<90%:可继续增加缓冲池(但不超过物理内存的80%[^4]) --- #### **第五步:持久化配置** ```ini # 修改my.cnf配置文件(防止重启失效) [mysqld] innodb_buffer_pool_size = 4G innodb_buffer_pool_instances = 8 innodb_buffer_pool_chunk_size = 128M ``` **重启生效**: ```bash sudo systemctl restart mysql # Linux系统示例 ``` --- ### **优化建议与风险控制** 1. **分阶段调整** 当内存调整超过$4GB$时,建议按$2GB$增量逐步调整,避免内存碎片 ```sql SET GLOBAL innodb_buffer_pool_size = 2147483648; -- 2GB -- 观察10分钟后继续调整 SET GLOBAL innodb_buffer_pool_size = 4294967296; -- 4GB ``` 2. **关联参数优化** ```ini innodb_io_capacity = 2000 # SSD建议值 innodb_flush_method = O_DIRECT # 避免双缓存 ``` 3. **内存溢出防护** 总内存占用应满足: $$ \text{innodb\_buffer\_pool\_size} + \text{其他内存消耗} ≤ 80\% \times \text{物理内存} $$ 可使用下方公式验证: ```sql SELECT (@@global.innodb_buffer_pool_size / 1024 / 1024) AS buffer_pool_mb, (@@global.key_buffer_size / 1024 / 1024) AS key_buffer_mb, (@@global.tmp_table_size / 1024 / 1024) AS tmp_table_mb; ``` --- ### **常见问题排查** **问题现象**:调整后出现`ERROR 1238 (HY000): Variable 'innodb_buffer_pool_size' is a read only variable` **解决方案**: 1. 确认MySQL版本≥5.7 2. 检查用户权限(需SUPER权限) 3. 验证`innodb_buffer_pool_chunk_size`是否为总大小的公约数[^1] --- ### **性能验证案例** **调整前**(1GB缓冲池): ```sql SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_read%'; +----------------------------------+---------+ | Variable_name | Value | +----------------------------------+---------+ | Innodb_buffer_pool_read_requests | 2839456 | -- 总读取请求 | Innodb_buffer_pool_reads | 12784 | -- 物理磁盘读取 +----------------------------------+---------+ ``` 命中率 = $(1 - 12784/2839456) \times 100 ≈ 99.55\%$ **调整后**(4GB缓冲池): ```sql +----------------------------------+---------+ | Variable_name | Value | +----------------------------------+---------+ | Innodb_buffer_pool_read_requests | 3847563 | | Innodb_buffer_pool_reads | 235 | +----------------------------------+---------+ ``` 命中率提升至$99.99\%$,物理读取减少$94\%$[^3] --- ### 相关问题 1. 如何通过`SHOW ENGINE INNODB STATUS`分析缓冲池碎片率? 2. 多实例缓冲池配置下,如何监控各实例的命中率差异? 3. `innodb_buffer_pool_dump_at_shutdown`参数对性能恢复有何影响?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值