Java爬虫引擎cfw.http.jar

该Java爬虫引擎采用HttpClient实现，支持http与https协议，具备自定义UserAgent和Header功能，同时支持Proxy代理，能够进行HTML和图片抓取。该框架分为WebClient、Webquest和ResponseResult三个主要部分，其中WebClient作为核心部分负责资源下载，Webquest则处理请求部分，提供了自定义UserAgent、Header以及Proxy设置功能，而ResponseResult则包含响应头、响应流和响应cookie等内容。HTML抓取功能已进行测试验证。