基于python的网络爬虫设计
以世纪佳缘网为例,思考自己所需要的数据资源,并以此为基础设计自己的爬虫程序。应用python伪装成浏览器自动登陆世纪佳缘网,加入变量打开多个网页。通过python的urllib2函数进行世纪佳缘网源代码的获取。用正则表达式分析源代码,找到所需信息导入excel。连接数据库,将爬下的数据存储在数据库中。
用户评论
interna160 2019-04-29 05:28:11
刚好用得上,谢谢。
zhpy_21309 2019-04-29 05:28:11
不错,有很大帮助。要是有再根据特点选就更好了