Scrapy爬虫 1

网络爬虫原理 Scrapy框架结构 爬虫步骤:需求分析->创建项目->分析页面->实现爬虫->运行爬虫 安装Scrapy 常见安装错误 解决方:1:先安装Twisted,再安装Scrapy。 Twisted的下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 解决方法2:通过conda安装 >conda install -c scrapinghub scrapy Scrapy项目创建和执行过程 1,打开cmd 2,在myScrapy文件夹中创建项目qidian_hot 3,scrapy s