软件 | 网络爬虫工具(NWebCrawler) v1.0.1 绿色英文版 |
内容 |
网络爬虫是一款一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫,该又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,欢迎需要的下载! 软件介绍:NwebCrawler是用C#写的一款多线程网络爬虫程序,它的实现原理是先输入一个或多个种子URL到队列中,然后从队列中提取URL(先进先出原则),分析此网页寻找相应标签并获得其href属性值,爬取有用的链接网页并存入网页库中,其中用爬取历史来记录爬过的网页,这样避免了重复爬取。提取URL存入队列中,进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。 功能介绍:可配置:线程数,等待时间,连接超时,允许MIME类型和优先级,下载文件夹。 统计信息:URL数量,总下载文件,总下载字节数,CPU利用率和可用内存。 Preferential crawler:用户可以设置优先级的MIME类型。 Robust: 10+ URL normalization rules, crawler trap avoiding rules. |
标签 | 网络爬虫,NWebCrawler |
缩略图 | ![]() |
软件名称 | 网络爬虫工具(NWebCrawler) v1.0.1 绿色英文版 |
软件图标 | |
软件大小 | 112KB |
发布时间 | |
软件平台 | |
软件语言 | 英文软件 |
软件授权 | 免费软件 |
操作系统 | Windows平台 |
系统类型 | |
用户评分 | 3 |
软件版本 | |
官方网站 | |
官方网址 | |
软件截图 | |
软件总类 | 电脑游戏 |
软件大类 | 软件下载-网络软件-浏览辅助 |
软件小类 | 浏览辅助 |
开发者 | |
主办单位名称 | |
ICP备案名 | |
备案号 | |
使用年龄 | |
下载链接 | ![]() |
攻略教程 | |
详细介绍 | |
操控设备 | |
隐私政策 | |
查看权限 | |
敏感权限获取说明 | |
软件类型 | 国外软件 |
安全警示 | 适度休息有益身心健康,请勿长期沉迷于使用电脑或刷手机。 |
随便看 |
|
传承兰台文化,共同保存历史记忆!兰台网收藏软件、游戏、图片、图书、电影、电视剧等互联网档案,是免费和可借阅文本、电影、音乐等档案的数字图书馆。