更高级的爬虫Scrapy框架的使用

前言 之前博主分享了两篇使用requests库进行网络资源的爬取,那么有没有一个通用的更加强大的爬虫方案呢?答案当然是有的,下面博主就为大家介绍一下Scrapy框架(也是业内运用最为广泛的框架)的基本使用。 Scrapy简介 Scrapy使用纯Python实现,是一个为了爬取网站数据,提取结构性数据而编写的应用框架,其用途非常广泛,可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 通常我们只需要定制开发几个模块就可以很简单的通过 Scrapy 框架实现一个爬虫,抓取指定网站的内容或图片。 Scrapy也支持多线程爬取,并且用户可以自由选择是否遵循robots协议。 Scrapy