网络爬虫源代码

主要特性有： 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。 有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。 健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。

bin
download
config.ini
dump.txt
NWebCrawler.exe
NWebCrawler.pdb
NWebCrawler.vshost.exe
NWebCrawler.vshost.exe.manifest
NWebCrawlerLib.exe
NWebCrawlerLib.pdb
NWebCrawlerLib_1_5_2010.log
NWebCrawlerLib
Properties
obj
Common
bin
CrawleHistroyEntry.cs
CrawlerThread.cs
Downloader.cs
NWebCrawlerLib.csproj
Parser.cs
Program.cs
Settings.cs
UrlFrontierQueueManager.cs
Utility.cs
NWebCrawler
Properties
obj
config.ini
MainForm.cs
MainForm.Designer.cs
MainForm.resx
NWebCrawler.csproj
Program.cs
SettingsForm.cs
SettingsForm.Designer.cs
SettingsForm.resx
NWebCrawler.sln
NWebCrawler.suo
51aspx源码必读.txt
from.gif
最新Asp.Net源码下载.url