python使用bs4爬取boss直聘静态页面

上传:ashyboy_student 浏览: 15 推荐: 0 文件:PDF 大小:58.72KB 上传时间:2021-02-24 03:22:06 版权申诉
思路: 1、将需要查询城市列表,通过城市接口转换成相应的code码 2、遍历城市、职位生成url 3、通过url获取列表页面信息,遍历列表页面信息 4、再根据列表页面信息的job_link获取详情页面信息,将需要的信息以字典data的形式存在列表datas里 5、判断列表页面是否有下一页,重复步骤3、4;同时将列表datas一直传递下去 6、一个城市、职位url爬取完后,将列表datas接在列表datas_list后面,重复3、4、5 7、最后将列表datas_list的数据,遍历写在Excel里面 知识点: 1、将response内容以json形式输出,解
上传资源
用户评论