第一步：对a中的每条URL记录，经过hash(URL）%2048处理分别放入a_file0, a_file1,…..a_file2047文件中。
对b中的记录进行同样的处理，放入b_file0, b_file1,…………….., b_file2047文件中。
第二步：对a_file0, a_file1,…..a_file2047中的记录分别进行排序、去重，b_file0, b_file1,…………….., b_file2047文件中的记录分别进行排序、去重。
第三步：对每一个子文件而言，其中的记录都是不同的。此时原文件a，b中的相同记录，肯定出现在a_filei和b_filei中。
即在a_file0和b_file0找相同的， 在a_file1和b_file1找相同的,…………………..,在a_file2047和b_file2047中找相同的。
第四步：统计每组文件中的相同记录，得到总的相同记录。
版权声明：本文为Manketon原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。