python网络爬虫常用技术

urllib模块 urllib库是python中自带的模块,也是一个最基本的网络请求库,该模块提供了一个urlopen()方法,通过该方法指定URL发送网络请求来获取数据。 urllib 是一个收集了多个涉及 URL 的模块的包 urllib.request 打开和读取 URL 三行代码即可爬取百度首页源代码: import urllib.request # 打开指定需要爬取的网页 response=urllib.request.urlopen('http://www.baidu.com') # 或者是 # from urllib import request # response = req