Python实现快速大文件比较代码解析

问题 假如,在有两个大文件分别存储了大量的数据,数据其实很简单就是一堆字符串,每行存储一条,如何快速筛选出两个文件的异同之处么,或者如何筛选出两个文件中不同的元素呢? 刚开始我是通过最简单的方法,利用for循环去一个个的判断,时间复杂度为m的n次幂,当然当文件数量级为十万或者百万时,速率简直慢到了极点。 解决方法 利用set()的different(方法)可快速比较,两个set集合的不同之处,也就是对集合进行数学运算 假设:数据1拥有858882条记录,数据2有360029条记录,快速挑选出数据2中而不存在与数据1中的数据 方法:先将两个文件中的数据读入两个list:data1和data2