python爬虫课程要点.docx

python基本库的使用： 1）使用urllib python内置的HTTP请求库，包含四个模块：request、error、parse、robotparser。request：最基本的HTTP请求模块，可以用来模拟发送请求。 2）Request url：请求地址，必传参数。 data：附加参数（from表数据），bytes字节流格式，如果是字典型(dict)，先用urllib.parse.urlencode()编码。 headers：请求头，字典类型，可以构造请求时直接通过headers参数构造，或通过add_header() 3）response：urlopen返回类型为HTTPRespo