Soukey采摘网站数据采集软件

一个开源免费的网站数据采集软件,支持多任务,多线程数据采集,遵循BSD协议。运行环境需:Microsoft .net Framework 2.0 1、多任务、多线程的网页数据采集; 2、支持cookie、post方式; 3、采集数据具备任务临时保存功能,保障数据采集的有效性;临时数据保持为xml文件; 4、采集数据支持导出,可导出Excel及文本文件; 5、采集任务支持文件下载,可采集轻量级文件内容,譬如:图片; 6、采集任务支持数据导航操作,譬如:数据下一页、索引页导航,并根据采集规则对内容页进行数据采集; 7、采集网址的规则可自定义,通过字典表可自定义网址参数,进行数据采集; 8、支持一个任务多个实例的运行,便于用户的选择操作; 9、支持简单的数据加工操作,当前仅支持自动去掉网页内容;