linux大文件切分上传

一. 前言

在 Linux 中，处理大文件（如日志、备份文件或数据库导出）时，经常需要将其​​分割成多个小文件​​以便传输、存储或处理。以下是常用的方法和工具：

二. 操作

1. 使用 split 命令（推荐）​​

split 是 Linux 自带的文件分割工具，支持按大小或行数分割。

​​按大小分割文件​​

split -b 100M large_file.tar part_

• -b 100M：每部分 100MB（支持 K、M、G 单位）。
• large_file.txt：待分割的大文件。
• part_：分割后的文件前缀（生成 part_aa, part_ab, …）。

2. 合并分割后的文件​​

使用 cat 命令合并：

cat part_* > merged_file.tar

3. 校验文件完整性（MD5/SHA 校验）​

# 生成原始文件的哈希值（如 MD5）
md5sum original_file.txt

# 合并分割后的文件并生成哈希值
cat part_* > merged_file.txt
md5sum merged_file.txt

# 对比两次结果是否一致