WebMagic

WebMagic官方版是一款好用的开源Java爬虫框架，WebMagic最新版把下载、提取、存储这些繁琐步骤全都包圆了，用起来特别省心;WebMagic主打简单灵活，API设计得特人性化，几行代码就能跑起来一个爬虫，支持注解配置，还自带多线程和XPath解析，模块化设计想扩展啥都方便。

WebMagic软件特色

      1、支持多样请求：不光能处理HTTP GET请求，其他类型的请求也能搞定，抓取场景覆盖更全面。

      2、爬虫监控完善：配了完善的监控功能，爬虫跑起来状态一目了然，运维管理起来心里有数。

      3、自定义处理器：WebMagic可以自己实现PageProcessor，想怎么处理网页逻辑都行，灵活定制完全听你的。

      4、精准元素抽取：Selectable抽取功能很强大，网页里的目标信息想提哪个就提哪个，特别精准。

WebMagic软件功能

      1、定制编写方式：支持多种编辑模式，内置扩展模块编辑功能，想怎么定制专属爬虫都随你。

      2、内置调试工具：自带webmagic-extension等数据包，专门用来调试脚本，保障爬虫跑得稳稳当当。

      3、简化开发流程：不用写一大堆复杂代码，网页信息获取方式优化了，开发爬虫变得轻松简单。

      4、模块化编辑：WebMagic提供了好几个代码编辑模块，直接加载到开发环境里用，省得自己从头写起。

WebMagic应用场景

      1、网页结构分析：WebMagic能分析网站内部链接结构，做SEO优化或者测网页布局都非常有帮助，很实用。

      2、内容去重识别：自带指纹识别功能，能自动判断重复内容，避免重复抓取，还能过滤广告链接。

      3、接口测试辅助：除了抓数据还能测网站API响应，甚至能帮忙生成API文档，功能延伸很强大。

      4、数据采集利器：不管抓商品价格、新闻还是论文，配置简单规则就能把网页数据轻松扒下来。

      5、内容更新监控：设个定时任务定期检查网页，一旦有更新立马触发通知，再也不用人工盯着看。