名字取材于游戏《英雄联盟》中的一名英雄-蜘蛛女皇。

Elise一个开源的商业友好的java爬虫框架。他的目标是建立一个强大的可配置分布式爬虫框架，能够囊括绝大多数使用场景，通过大量的基础组件构建，任何人都能够构建一个复杂的傻瓜式爬虫平台

Elise的优势：

• 傻瓜式爬虫支持，语义化api，流畅／优雅

• 多线程，速度快

• 自动cookie和会话处理

• 组建化，提供了大量基础组建，扩展性高

• 完全支持分布式

• 提供生命周期回调，任务完成，任务取消,下载成功，下载失败等等一系列回调支持

• 支持任务暂停、取消、恢复等功能，并且配套提供了相应的声明周期回调方法

• 对于爬取结果相较于纯文字或者纯html，增加一种富文本结果支持。富文本能将爬取结果段以文本（带链接文本）+图片+音频+视频等内容通过一个结果呈现，这对于开发者而言也许能更好的做内容爬去，而不再需要费劲解析，完整的文章就完整的保存下来。

• 支持xpath/regex/css多模式组合爬取

• html unit模拟浏览器

• 商业友好（采用 AGPL-3.0 协议）

...

<dependency>
    <groupId>site.zido</groupId>
    <artifactId>Elise-client</artifactId>
    <version>{version}</version>
</dependency>

暂无稳定版本，你可以使用1.0.0-SNAPSHOT做为版本号来预先体验开发版本

请注意：不稳定且许多api暂未实现，请持续关注ROADMAP.md开发路线文档，期待第一个版本的诞生，一定会惊艳到你

轻松利用response回调句柄,语义化api,像说话一样简单的爬取一个网站

尝试爬取我的github仓库：

SpiderBuilder.defaults().of(response -> {
    response.modelName("project");
    response.asTarget().matchUrl("github\\.com/zidoshare/[^/]*$");
    response.asHelper().regex("github\\.com/zidoshare/[^/]*$");
    response.asContent().html().xpath("//*[@id=\"js-repo-pjax-container\"]/div[1]/div/h1/strong/a").text().save("title");
    response.asContent().html().xpath("//span[@class=\"text-gray-dark mr-2\"]").text().save("description");
    response.asContent().html().xpath("//*[@id=\"readme\"]/div[2]").text().save("readme");
}).execute("http://github.com/zidoshare").block();

框架的核心需编程逻辑仅在response的回调中。response提供了url/html等供你快速的匹配内容

依靠高度封装的api,试着写下response.你能轻松的知道接下来可以做什么。

或者转到使用文档，详细的看看Elise的使用吧

Elise框架使用maven构建，并使用大量jdk8特性，请保证你的jdk版本为8以上。

获取源码：

git clone https://github.com/zidoshare/Elise.git

cd Elise

因为作者是使用idea进行开发，所以推荐的开发编辑器为IntelliJ IDEA。

如果你在其他编辑器中开发，请确保你的编辑器中的配置文件/构建文件/缓存等不会出现在提交目录中。这可以在.gitignore文件中进行设置，也欢迎提交类似的pr

进行中（每天都在努力的编码中）...一个人的力量有限，希望有人能加入:smile:

目前还没能达到正式版本的状态。不过已经能基本保证正常运行，可以自行clone代码构建运行。

开发路线参考 ROADMAP.md。

行为准则请参阅CODE_OF_CONDUCT.md

请查看贡献说明。

问题和建议反馈：

Github issues

邮箱: wuhongxu1208@gmail.com

本项目的开发离不开前辈的探索，许多思想理念也来自于其他框架：

• webmagic:一个开源的Java垂直爬虫框架.

• Spiderman2:简单的说，这是一个网页爬虫工具，专门对网页内容进行抓取和解析

• colly:优雅快速的go语言爬虫框架