webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。

webmagic的主要特色：

1、完全模块化的设计，强大的可扩展性。

2、核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。

3、提供丰富的抽取页面API。

4、无配置，但是可通过POJO+注解形式实现一个爬虫。

5、支持多线程。

6、支持分布式。

7、支持爬取js动态渲染的页面。

8、无框架依赖，可以灵活的嵌入到项目中去。

• 文道网课
• 文都医学
• 文汇
• 文旅通APP
• 录音管家
• 问三师
• 智能按摩器
• 音效大师
• 新标准英语一起一年级优米点读
• 新标准英语三年级上优米点读
• 智能照明
• 小猫开门
• 更美证件照
• 她说
• 智能遥控空调
• 凤凰书苑
• 贵州医保
• PPT
• 虚贝网
• 学培课堂
• 皮皮桌面壁纸
• PPA
• 中国视听
• 最最汉字
• 金榜志愿填报
• 超级水泡
• 小猫走钢丝
• 在发布会上
• 算数跷跷板
• 白耳鼠吃奶酪
• 卡通小鼠连连看
• 小矮人矿工
• 魔刀侠情-血洗江湖(精华版)
• 和时间赛跑
• 前世死因测试
• 题王许威武/国际安徒生奖提名奖获得者丛书
• 阿雏/国际安徒生奖提名奖获得者丛书
• SMALL URBAN GARDENS
• DRESSING THE COSTUMES OF STAR WARS AGALAXY
• SENSATIONAL BOUQUETS
• REMBRANDT/ART IN THE MAKING
• 天朝落日(中国二十王朝覆亡全景图文珍藏版)
• CONVERTED SPACES
• TODAY'S CULTURE FACILITIES
• 乱世之殇
• 最后的99天
• 魔女裁判
• 晚婚
• 解放
• 大明医圣李时珍
• 黑玫瑰
• 难为女儿红
• 玫瑰江湖
• 妻子回来了
• 我的青春谁做主