Python爬虫学习(三)之Scrapy框架

最近在各个平台上学习python爬虫技术,林林总总接触到了三大类型的爬虫技术——【1】利用urllib3实现,【2】使用Requests库实现,【3】使用Scrapy框架实现。 虽然是按照以上的顺序进行学习的,但是在学习scrapy的过程中问题比较多,所以先从它开始。Python爬虫学习(一)之简单实现、Python爬虫学习(二)之Requests库将先添加至@TO-DO list里。 对于Scrapy的学习采取了阅读文档然后直接上手一个小项目的方式。这个项目的任务是爬取豆瓣电影 Top 250,把250部电影的名字、封面图以及评价数爬下来并储存至文件中。 文章目录一、简介二、安装以及新建项