colly:用于Golang的优雅的Scraper和Crawler框架 源码

科利 Gophers的闪电般快速且优雅的抓取框架 Colly提供了一个干净的界面来编写任何种类的爬虫/爬虫/蜘蛛。 使用Colly,您可以轻松地从网站中提取结构化数据,这些数据可用于各种应用程序,例如数据挖掘,数据处理或归档。 产品特点 清洁API 快速(单个内核上> 1k请求/秒) 管理请求延迟和每个域的最大并发 自动cookie和会话处理 同步/异步/并行抓取 快取 自动编码非Unicode响应 Robots.txt支持 分布式刮 通过环境变量进行配置 扩展名 例 func main () { c := colly . NewCollector () // Find and vi