Java爬虫引擎cfw.http.jar
该Java爬虫引擎采用HttpClient实现,支持http与https协议,具备自定义UserAgent和Header功能,同时支持Proxy代理,能够进行HTML和图片抓取。该框架分为WebClient、Webquest和ResponseResult三个主要部分,其中WebClient作为核心部分负责资源下载,Webquest则处理请求部分,提供了自定义UserAgent、Header以及Proxy设置功能,而ResponseResult则包含响应头、响应流和响应cookie等内容。HTML抓取功能已进行测试验证。
用户评论