scrapy框架爬虫初体验——豆瓣评分top250

环境 Scrapy安装 Scrapy抓取步骤 第一步:新建项目 创建scrapy项目 设置settings.py 创建爬虫文件(douban_spider.py) 第二步:明确目标 打开网站 分析抓取内容 实现数据结构(items.py) 第三步:制作爬虫 测试 编写解析文件(douban_spider.py的parse()方法) 第四步:保存数据 存到文件 存到数据库 其他部分:爬虫的伪装 Ip代理中间件编写(middlewares.py) user-agent中间件编写(middlewares.py) 注意事项 参考资料 环境 win 10 + pycharm + python 3.6 +