天眼查爬取企业信息企业信用信息查询系统天眼查爬虫

运行main all.py即可爬取90的天眼查公司运行main top100.py只爬取96个行业的前100家公司运行main search.py根据你的公司名搜索进行爬取指定公司注意1代理IP请自费或自力更生建免费IP池2本项目自带云数据库可直接使用用你的电脑直接加入爬虫计划我愿称之为分布式爬虫3如果想用自己的数据库配置信息在config.py里修改为你的数据库和蘑菇代理appkey即可4此程序随时可停随时可继续从上次停止的地方开始不会重复爬取5如果有其他问题或者想要数据加Q群231436610步骤1查看data文件夹看数据是否满足你的数据分析要求.公司信息.xlsx超过2万条的企业信息行业TOP100.sql各个行业Top100的企业信息大概9000条记录.步骤2如果数据不满足你的要求你想操练一下花点钱爽爽.安装好mysql建好表sql文件夹下有建表脚本.买好蘑菇代理或者其他代理池的代理修改config.py里面的配置与数据库配置以及蘑菇代理API的a