目录
在面对亿级数据的 MySQL 表时,直接执行
ALTER TABLE
添加字段的传统方式可能会导致长时间的表锁定,严重影响业务的正常运行。本文将为你提供几种安全、高效添加字段的方案,帮助你在不影响业务的情况下完成大表的字段扩展。
一、风险评估与准备工作
1.1 直接执行 ALTER 的潜在问题
ALTER TABLE `orders` ADD COLUMN `is_priority` TINYINT NULL DEFAULT 0;
这种直接执行的方式在 MySQL 5.6 中可能会导致长达 2-6 小时的锁表时间,而即使在 MySQL 5.7+ 中也需要 10-30 分钟的短暂阻塞写入。这可能导致以下业务影响:
- 所有读写请求超时
- 连接池耗尽(
Too many connections
) - 可能触发高可用切换(如 MHA)
1.2 关键指标检查
在操作前,需要对表的大小和当前的长事务进行检查:
-- 查看表大小(GB)
SELECT
table_name,
ROUND(data_length/1024/1024/1024,2) AS size_gb
FROM information_schema.tables
WHERE table_schema = 'your_db' AND table_name = 'orders';
-- 检查当前长事务
SELECT * FROM information_schema.innodb_trx
WHERE TIME_TO_SEC(TIMEDIFF(NOW(), trx_started)) > 60;
1.3 数据备份
在进行任何结构变更之前,备份数据是至关重要的步骤。可以使用如下命令对数据表进行备份:
mysqldump -u [username] -p[password] [database_name] [table_name] > [backup_file_name].sql
二、三种安全方案对比
方案 | 工具 | 执行时间 | 阻塞情况 | 适用版本 | 复杂度 |
---|---|---|---|---|---|
Online DDL | 原生 MySQL | 30min-2h | 短暂阻塞写 | 5.7+ | ★★☆ |
pt-osc | Percona Toolkit | 2-4h | 零阻塞 | 所有版本 | ★★★ |
gh-ost | GitHub | 1-3h | 零阻塞 | 所有版本 | ★★★★ |
三、方案一:MySQL 原生 Online DDL(5.7+)
3.1 最优执行命令
ALTER TABLE `orders`
ADD COLUMN `is_priority` TINYINT NULL DEFAULT 0,
ALGORITHM=INPLACE,
LOCK=NONE;
3.2 监控进度(另开会话)
-
查看 DDL 状态:
SHOW PROCESSLIST;
-
查看 InnoDB 操作进度:
SELECT * FROM information_schema.innodb_alter_table;
3.3 预估执行时间(经验公式)
时间(分钟) = 表大小(GB) × 2 + 10
例如,表大小为 50GB,预估执行时间为 110 分钟。
四、方案二:pt-online-schema-change 实战
4.1 安装与执行
# 安装 Percona Toolkit
sudo yum install percona-toolkit
# 执行变更
pt-online-schema-change \
--alter "ADD COLUMN is_priority TINYINT NULL DEFAULT 0" \
D=your_db,t=orders \
--chunk-size=1000 \
--max-load="Threads_running=50" \
--critical-load="Threads_running=100" \
--execute
4.2 关键参数说明
参数 | 作用 | 推荐值(亿级表) |
---|---|---|
--chunk-size | 每次复制的行数 | 500-2000 |
--max-load | 自动暂停阈值 | Threads_running=50 |
--critical-load | 强制中止阈值 | Threads_running=100 |
--sleep | 批次间隔时间 | 0.5(秒) |
4.3 Java 应用兼容性处理
在触发器生效期间,处理重复主键异常:
try {
orderDao.insert(newOrder);
} catch (DuplicateKeyException e) {
orderDao.update(newOrder);
}
五、方案三:gh-ost 高级用法
5.1 执行命令(无需触发器)
gh-ost \
--database="your_db" \
--table="orders" \
--alter="ADD COLUMN is_priority TINYINT NULL DEFAULT 0" \
--assume-rbr \
--allow-on-master \
--cut-over=default \
--execute
5.2 核心优势
- 无触发器设计,避免性能损耗
- 动态限流,自动适应服务器负载
- 可交互控制,支持暂停/恢复
六、Java 应用层适配策略
6.1 双写兼容模式(推荐)
public void createOrder(Order order) {
order.setIsPriority(0); // 新字段默认值
orderMapper.insert(order);
// 兼容旧代码
if (order.getV2() == null) {
orderMapper.updateIsPriority(order.getId(), 0);
}
}
6.2 动态 SQL 路由
<insert id="insertOrder">
INSERT INTO orders
(id, user_id, amount
<if test="isPriority != null">, is_priority</if>)
VALUES
(#{id}, #{userId}, #{amount}
<if test="isPriority != null">, #{isPriority}</if>)
</insert>
七、监控与回滚方案
7.1 实时监控指标
-
监控复制延迟(主从架构):
pt-heartbeat --monitor --database=your_db
-
查看 gh-ost 进度:
tail -f gh-ost.log
7.2 紧急回滚步骤
-
pt-osc 回滚:
pt-online-schema-change --drop-new-table --alter="..." --execute
-
gh-ost 回滚:
gh-ost --panic-on-failure --revert
八、总结建议
-
首选方案:
- MySQL 8.0 → 原生
ALGORITHM=INSTANT
(秒级完成) - MySQL 5.7 →
gh-ost
(无触发器影响)
- MySQL 8.0 → 原生
-
执行窗口:
- 选择业务流量最低时段(如凌晨 2-4 点)
- 提前通知业务方准备降级方案
-
验证流程:
SELECT COUNT(*) FROM orders WHERE is_priority IS NULL;
-
后续优化:
ALTER TABLE orders MODIFY COLUMN is_priority TINYINT NOT NULL DEFAULT 0;
通过合理选择工具和应用层适配策略,即使是亿级数据的表也能实现零停机的字段添加。