最新puppeteer爬虫boss直聘招聘公司及职位信息

​失踪人口回归了!由于一直在爬虫,遇到的坑比较多,先大致汇报下 1、获取全国所有企业 2、通过企查查补充企业信息 3、爬虫boss直聘获取公司及职位信息 本次先说爬虫boss直聘 目的: 获取指定城市下的指定行业的招聘公司及招聘职位信息 一、试错阶段 尝试使用了requests,selenium,pyppeteer,发现都不能正常访问boss直聘,厉害了我的老板! 于是只能采用puppeteer,因第一次使用puppeteer,也是第一次使用nodejs,代码规范和操作可能多有不妥之处,请您见谅。 二、爬虫注意点 1、公司名称重名问题(去重问题): 搜索Python搜到了公司A,Java