撸了一个 Golang 爬虫框架

GitHub - zhshch2002/goribot: [Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。 [Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。 - GitHub - zhshch2002/goribot: [Crawler/Scraper for Golang]🕷A lightweight distribut... GitHub - github.com

栗子

package main

import (
    "encoding/json"
    "fmt"
    "github.com/zhshch2002/goribot"
)

func main() {
    s := goribot.NewSpider()
    _ = s.Get(nil, "https://httpbin.org/get?Goribot%20test=hello%20world", func(r *goribot.Response) {
        m := make(map[string]interface{})
        err := json.Unmarshal([]byte(r.Text), &m)
        if err != nil {
            fmt.Println(err)
        }
        fmt.Println(m)
    })
    s.Run()
}
​

长得和 Scrapy 有点像（逃

• Goroutine 原生支持并发
• 使用闭包函数实现蜘蛛处理逻辑
• 使用 Pipeline 插入生命周期钩子实现扩展
  • 已经实现了部分常用 Pipeline 扩展

README.md 里有一个 bilibili 的完整例子，用了 Pipeline 和闭包的特性。