爬虫:设置Request Header(请求头)

原文地址 分类目录——爬虫 Request Header(请求头)是在http协议中封装的内容,在在很多网站中,会对请求头中的信息有所要求,或者是因为用作验证来反爬虫,或者是获得浏览器的信息以提供针对性的反馈等等,当缺少这些请求头信息时,有些网站可能会对请求不予反馈,或者返回错误信息。 这就需要在通过代码访问的时候追加这些信息 下面以一个例子来说明 以 https://dig.chouti.com/ 这个网站为例,在浏览器中访问这个网站,在网页中右击 =》查看源代码 在通过代码访问时,当只传入url=‘https://dig.chouti.com/’时,是无法获取网络的反馈的 r1 = re