WebCollector是一个无须配置、便于二次开发的Java爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。

WebCollector致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup，可进行精准的网页解析。2.x版本中集成了selenium，可以处理JavaScript生成的数据。

WebCollector特性：

1、自定义遍历策略，可完成更为复杂的遍历业务，例如分页、AJAX

2、可以为每个 URL 设置附加信息(MetaData)，利用附加信息可以完成很多复杂业务，例如深度获取、锚文本获取、引用页面获取、POST 参数传递、增量更新等。

3、使用插件机制，用户可定制自己的Http请求、过滤器、执行器等插件。

4、内置一套基于内存的插件（RamCrawler)，不依赖文件系统或数据库，适合一次性爬取，例如实时爬取搜索引擎。

5、内置一套基于 Berkeley DB（BreadthCrawler)的插件：适合处理长期和大量级的任务，并具有断点爬取功能，不会因为宕机、关闭导致数据丢失。

6、集成 selenium，可以对 JavaScript 生成信息进行抽取

7、可轻松自定义 http 请求，并内置多代理随机切换功能。 可通过定义 http 请求实现模拟登录。

8、使用 slf4j 作为日志门面，可对接多种日志

9、使用类似Hadoop的Configuration机制，可为每个爬虫定制配置信息。

• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）空条承太郎音效MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）休闲天地煌鸣龙套MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）命运2Ikelos样式斧MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）清爽的狱狼龙套MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）命运创世连接Saber语音MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）大神澪吊坠MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）无限消耗品和弹药MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）怪物血量提示MOD汉化版
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）苍翼默示录拉格纳音效MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）戌神沁音吊坠MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）冥赤龙皮肤重制MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）虫棍特效龙魂辉光MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）去除披风和助推器冷却MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）太刀特效龙魂辉光MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）火焰纹章阿库娅语音MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）艰难的狩猎MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）双历战王冥赤龙MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）攻壳机动队服装MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）飞龙之刃外观MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）提升物品增益时间MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）尼尔机械纪元长剑MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）散华武器修改MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）符文丢出冥赤龙大招MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）命运创世尼禄服装MOD
• 怪物猎人世界:冰原（Monster Hunter World: Iceborne）简约麒麟套MOD
• 企鹅FM
• 人猿小泰山
• 南北战争
• 面粉袋子
• 米老鼠3
• 迷宫组曲
• 迷宫龙
• 迷宫岛
• 美国大兵
• 冒险岛3
• 医生的忠告(按照自己的意愿生活健康篇)
• 孕期40周完全手册
• 超现实主义艺术思想中的电影银幕/西方当代视觉文化艺术精品译丛
• 阳光三亚(天堂不过如此美丽)
• 声息(2)
• 朱长文续书断/中国古代书法理论研究丛书
• 美人香气提斯
• 中医养生受益一生(健康长寿的养生之道)
• 婚恋中男人不能犯的100个错误
• 心理健康完全手册
• 浮世双娇传
• 因为我喜欢你
• 酒店实习生
• 完美先生和差不多小姐
• 小大夫
• 正道无敌
• 虹猫蓝兔七侠传
• 熟女强人
• 天官赐福
• 全世界都不如你