C#网络爬虫\蜘蛛Crawler

参考一个老外的程序写的(http://www.codeproject.com/Articles/13486/A-Simple-Crawler-Using-C-Sockets),他的这个程序是比较老了，是用C#1.1嘛还是2.0哦，改造的时候需要作一些跨线程的处理工作，通信采用的socket,界面使用的winform,我用.net4.0界面wpfvs2010改造了下，内存占用确实比不上老外。网络蜘蛛是什么？网上一搜一大把，大家可以网上查查看。我说说我的改造程序:通信和原程序一样，socket通信，多线程爬取网页及文件，忙了一阵，程序还有一些改进，有些功能需要添加，一些设置参数我写的比较死，未加上原程序的设置窗体，但这些参数我写在程序中