某豆瓣小组删帖考察——基于我的豆瓣小组爬虫

爬虫地址：https://github.com/lixiang810/NSDBG-Next

我在今年 8 月开发出了这个爬虫，用于保存我所在某小组的讨论。此后我加入了检验帖子是否被删除的功能：指定爬取页数，将爬取下的每页帖子列表与数据库中这一段时间的帖子列表进行比较，存在于数据库而不存在于爬取数据中的帖子即为疑似删除。此后，再通过访问这些帖子的方式来确证。我平时会进行定期检验，每次检验时，我一般取前 20 页进行检验。

然而今天我检测了前 180 页，结果如上（此前已标记为被删除的帖子不会被再次检验）。我得出了这样的结论：删帖频率对时间三次求导的值约为 0，即：

伟大发现，伟大发现。