c#多线程抓取网页内容

上传:qt2523239 浏览: 49 推荐: 0 文件:其他文档 大小:500kb 上传时间:2019-09-26 09:39:16 版权申诉
在《爬虫/蜘蛛程序的制作(C#语言)》一文中,已经介绍了爬虫程序实现的基本方法,可以说,已经实现了爬虫的功能。只是它存在一个效率问题,下载速度可能很慢。这是两方面的原因造成的:1.分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作(C#语言)》中已经介绍了爬虫程序的两个步骤:分析和下载。在单线程的程序中,两者是无法同时进行的。也就是说,分析时会造成网络空闲,分析的时间越长,下载的效率越低。反之也是一样,下载时无法同时进行分析,只有停下下载后才能进行下一步的分析。问题浮出水面,我想大家都会想到:把分析和下载用不同的线程进行,问题不就解决了吗?2.只是单线程下载。相信大家都有用过网际快车等下载资源的经历,它里面是可以设置线程数的(近年
上传资源
用户评论

WGJ96543 2019-09-26 09:39:16

没有源码,和简介的内容一样,不值10分啊

mehaviar 2019-09-26 09:39:16

很实用的案例,感谢分享。

keltloja 2019-09-26 09:39:16

还行,代码值得借鉴

qq_59031621 2019-09-26 09:39:16

解决了好多的技术难点啊

快乐上午茶 2019-09-26 09:39:16

没有源码。下载的东西和简介里的东西一模一样

cs48624dn 2019-09-26 09:39:16

没有源码,垃圾

72245siyu 2019-09-26 09:39:16

仅仅是文本,不过也还过得去

vomic 2019-09-26 09:39:16

真的只是文本,下载的千万谨慎 嗯嗯

动感波波 2019-09-26 09:39:16

下载的只是文本

qqshrimp27329 2019-09-26 09:39:16

下载的只是文本,不是源码,准备下载的人们要注意了