Golang 写了个微信机器人搜集微信公众号中的技术文章,然后做成一个内容聚合网站。

本贴最后更新于 2007 天前,其中的信息可能已经渤澥桑田

网站地址:https://mlog.club

Github 地址:http://github.com/mlogclub/mlog

初衷

本人是一个爱折腾的码农,之前的主力使用语言是 Java,看到 Golang 在中国遍地开花,所以本人决定折腾下。所以边学 golang 边做了这个东西出来。

实现原理

机器人关注技术相关的公众号,当这些公众号推送文章的时候,机器人就能够收到消息,然后将消息对应的文章内容抓取下来。

功能

  • 机器人搜集公众号文章
  • 用户登录、注册,支持 Github 账号登录
  • 用户发表文章、文章评论
  • 论坛(发帖、回帖)
  • 站内消息
  • 文章收藏、帖子收藏
  • ... 后期看心情还会加入一些其他功能,完全是为了折腾和学习。

顾虑

从公众号采集过来的文章会不会有版权问题?我在文章详情页中都加了公众号的原作者信息和公众号的二维码,我觉得这样是帮他们推广公众号。

源码

  • 公众号
    24 引用 • 156 回帖 • 1 关注
  • golang

    Go 语言是 Google 推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克(Rob Pike)说:我们之所以开发 Go,是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。

    497 引用 • 1388 回帖 • 279 关注
2 操作
gaoyoubo 在 2019-06-24 17:52:31 更新了该帖
gaoyoubo 在 2019-06-24 17:03:53 更新了该帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • qvo

    未‌经‌著‌作‌权‌人‌同‌意‌ ‌擅‌自‌转‌载‌他‌人‌文‌章‌是‌否‌侵‌权‌-‌法‌邦‌网 https://m.fabao365.com/channel/zhuzuoquan/167382/ 构‌成‌侵‌‌‌权‌‌ 建议像今日热榜微信 24h 热文榜 https://tophub.today/n/WnBe01o371 这样只有标题 放原文链接

    1 回复
  • gaoyoubo
    作者

    如果只放标题和摘要,然后点击链接到源地址,这样是不是就可以避开侵权的风险?

  • pengljun 1 评论

    怎么整合出来让人感兴趣的内容呢...

    1 回复
    我也在想这个问题哈,如果能让人感兴趣,人气应该还可以。 现在基本就是我自己玩。
    gaoyoubo
  • gaoyoubo
    作者

    我也在想这个问题哈,如果能让人感兴趣,人气应该还可以。 现在基本就是我自己玩。

  • someone 1 评论

    你好美,但是 github 是老头

    头像是假的,😂
    gaoyoubo
  • visus

    大神,大神,牛皮

  • visus 1 评论

    祝福你的服务器一天天被攻击,为啥总是别人实现了自己的想法

    哈哈,来一起搞啊。
    gaoyoubo
  • 88250 1 评论

    你最终的期望应该是做一个社区吧,只是前期内容太少难以吸引人,所以想通过一些有价值、有意思的文章来引流,顺便 golang 练练手 😄

    建议尽量不要去采集聚合内容,让用户主动提交聚合(没有这样的工具的话正好去创造一个)、主动产生内容 UGC 会更好一些。前期内容少也没关系,多发布自己的想法和经验之谈,宁缺毋滥。

    话说回来,内容运营和 SEO 一样,都是玄学,也许哪一天运气好了人气突然就聚起来了呢,加油加油!

    荣幸啊,站长大大亲自回复。 我只是想拿 golang 练练手,没特色做 ugc 很难的,别人凭啥子用你的呢。
    gaoyoubo 1
  • yoss 2 1 赞同 1 评论

    微信的盘子你都敢碰?小心牢狱之灾倾家荡产。别以为这是小事,可以搜搜这几年因为爬虫被判刑的新闻,特别是最近国家对知识产权保护的严厉,你这是在顶风作案,微信平台或者权益人看到后很有可能会马上取证的(现在网上取证很便宜并具备法律效力),然后找到你个人信息(比如通过域名、电话等等)就可以到你个人居住地提起诉讼。这些都可以网上找人进行代理,成本很低。现在没告你可能是觉得还要积攒一下养肥了再宰,我劝你尽快撤掉吧,平安比什么都重要。

    哈哈, 说的好严重啊。
    gaoyoubo
  • wizardforcel 1 1 赞同 1 评论

    有版权问题的东西我也搞过多少回了,别怂就是干。 但不管干啥都得把法律研究透彻,特别是执行上的一些 hacks。

    不过我也没有无聊到把所有微信公众号文章爬下来,我记得我只爬过机器之心和码农翻身。

    1 操作
    wizardforcel 在 2019-06-22 00:32:07 更新了该回帖
    网站小的时候估计没人会在意你的版权问题,我每篇文章都放了原公众号的链接,和公众号的二维码,等于白给他们推广了,估计他们也乐意。
    gaoyoubo
  • someone38063 1 1 评论

    标明来源应该就没事了,可以放在不显眼的地方

    1 回复
    是的,我每篇文章都标记了的,但是有些文章是需要原作者同意之后才能够转载的。
    gaoyoubo
  • xflash 1 评论

    即使是注明来源转载也需要作者授权,否则依然属于侵权。

    是的,我最开始其实是没采集别人原文的,只采集标题和摘要,然后点击跳转到源地址。但是在冷启动阶段是在想不到通过什么方式能让自己的网站能留得住人,所以无奈就将文章原文也采集过来了。
    gaoyoubo
  • wizardforcel

    我觉得你可以咨询一下现有的抓取网站,比如微文库和传送门,看看他们遇到碰瓷的时候是怎么解决的。

请输入回帖内容 ...