headless chrome crawler:由Headless Chrome驱动的分布式搜寻器 源码

无头Chrome履带 | | | 由无头Chrome驱动的分布式搜寻器 产品特点 基于对HTML文件的简单请求的爬网程序通常很快。 但是,有时它最终会捕获空的主体,尤其是当网站建立在 , 和类的现代前端框架上时。 借助无头Chrome浏览器,该搜寻器提供了 ,可通过以下功能来搜寻这些动态网站: 分布式爬网 配置并发,延迟和重试 支持和算法 可插拔缓存存储,例如 支持和以导出结果 在最大请求数时暂停并随时恢复 自动插入以进行抓取 保存抓取证据的屏幕截图 模拟设备和用户代理 优先队列以提高爬网效率 遵守 关注 [承诺]支持 入门 安装 yarn add headless-chrome-