python使用bs4爬取boss直聘静态页面
思路: 1、将需要查询城市列表,通过城市接口转换成相应的code码 2、遍历城市、职位生成url 3、通过url获取列表页面信息,遍历列表页面信息 4、再根据列表页面信息的job_link获取详情页面信息,将需要的信息以字典data的形式存在列表datas里 5、判断列表页面是否有下一页,重复步骤3、4;同时将列表datas一直传递下去 6、一个城市、职位url爬取完后,将列表datas接在列表datas_list后面,重复3、4、5 7、最后将列表datas_list的数据,遍历写在Excel里面 知识点: 1、将response内容以json形式输出,解
用户评论