PHP如何在两个大文件中找出相同的记录?_php高效处理海量数据,如何在两个大文件中找出相同的记录 ?-CSDN博客

本文链接：https://blog.csdn.net/ClassmateLin/article/details/115981150

本文介绍了一种在内存有限的情况下，使用PHP处理两个超过10亿行的大文件并找出其中相同记录的方法。通过分治策略，使用哈希取模将数据分散到多个小文件，然后逐个文件找出重复记录，最终合并结果。文章还提供了简化版的实操过程和代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

引言

给定a，b两个文件, 分别有x，y行数据, 其中(x, y均大于10亿), 机器内存限制100M，该如何找出其中相同的记录?

思路

处理该问题的困难主要是无法将这海量数据一次性读内内存中.
一次性读不进内存中，那么是否可以考虑多次呢？如果可以，那么多次读入要怎么计算相同的值呢？
我们可以用分治思想，大而化小。相同字符串的值hash过后是相等的, 那么我们可以考虑使用hash取模, 将记录分散到n个文件中。这个n怎么取呢？ PHP 100M内存，数组大约可以存100w的数据, 那么按a,b记录都只有10亿行来算, n至少要大于200。
此时有200个文件，相同的记录肯定在同一个文件中，并且每个文件都可以全部读进内存。那么可以依次找出这200个文件中各自相同的记录，然后输出到同一个文件中，得到的最终结果就是a, b两个文件中相同的记录。
找一个小文件中相同的记录很简单了吧，将每行记录作为hash表的key, 统计key的出现次数>=2就可以了。

实操

10亿各文件太大了，实操浪费时间，达到实践目的即可。

问题规模缩小为: 1M内存限制, a, b各有10w行记录, 内存限制可以用PHP的ini_set('memory_limit', '1M');来限制。

生成测试文件

生成随机数用于填充文件:

/**
 * 生成随机数填充文件
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $filename 输出文件名
 * @param int $batch 按多少批次生成数据
 * @param int $batchSize 每批数据的大小
 */
function generate(string $filename, int $batch=1000, int $batchSize=10000)
{
   
    for ($i=0; $i<$batch; $i++) {
   
        $str = '';
        for ($j=0; $j<$batchSize; $j++) {
   
            $str .= rand($batch, $batchSize) . PHP_EOL; // 生成随机数
        }
        file_put_contents($filename, $str, FILE_APPEND);  // 追加模式写入文件
    }
}