分享一个从云端下载快照到本地的脚本

一个手贱,把我本地的快照全给清空了。

image.png

想了想感觉还是需要下载回来一部分,不然还是有些风险。

但是一个个翻页点击,体感还是太恐怖了。

image.png

看了一下,发现有提供快照相关的 API,所以写了一个脚本批量处理,以下的代码依赖于 RunJs 插件,请放到代码块里面,然后使用插件运行。

"use strict";
const request = globalThis.runJs.api.request;
class SnapshotScheduler {
    constructor() {
        this.now = new Date();
    }
    isInCurrentWeek(date) {
        const startOfWeek = new Date(this.now);
        startOfWeek.setDate(this.now.getDate() - this.now.getDay());
        return date >= startOfWeek;
    }
    getTimeDifferenceInDays(date) {
        return Math.floor((this.now.getTime() - date.getTime()) / (1000 * 3600 * 24));
    }
    isSameDay(date1, date2) {
        return date1.getFullYear() === date2.getFullYear() &&
            date1.getMonth() === date2.getMonth() &&
            date1.getDate() === date2.getDate();
    }
    isHourDifferent(date1, date2) {
        return date1.getHours() !== date2.getHours();
    }
    shouldDownloadSnapshot(last, current, next) {
        const currentDate = new Date(current.created);
        const daysDifference = this.getTimeDifferenceInDays(currentDate);
        if (this.isInCurrentWeek(currentDate)) {
            return true; // Download all snapshots from the current week
        }
        const lastDate = last ? new Date(last.created) : null;
        const nextDate = next ? new Date(next.created) : null;
        if (daysDifference <= 30) {
            // Every hour, plus start and end of day
            if (!lastDate || !this.isSameDay(currentDate, lastDate)) {
                return true; // First snapshot of the day
            }
            if (!nextDate || !this.isSameDay(currentDate, nextDate)) {
                return true; // Last snapshot of the day
            }
            return this.isHourDifferent(currentDate, lastDate);
        }
        if (daysDifference <= 90) {
            // First and last snapshot of each day
            return (!lastDate || !this.isSameDay(currentDate, lastDate)) ||
                (!nextDate || !this.isSameDay(currentDate, nextDate));
        }
        if (daysDifference <= 180) {
            // Last snapshot of each day
            return !nextDate || !this.isSameDay(currentDate, nextDate);
        }
        if (daysDifference <= 365) {
            // Every third day, last snapshot
            if (daysDifference % 3 !== 0)
                return false;
            return !nextDate || !this.isSameDay(currentDate, nextDate);
        }
        // Over a year: weekly, last snapshot
        const weekNumber = Math.floor(daysDifference / 7);
        if (daysDifference % 7 !== 0)
            return false;
        return !nextDate || Math.floor(this.getTimeDifferenceInDays(nextDate) / 7) !== weekNumber;
    }
}
class SnapshotManager {
    constructor() {
        this.scheduler = new SnapshotScheduler();
    }
    async getAllSnapshots(startFrom, endTo, startPage) {
        let page = startPage !== null && startPage !== void 0 ? startPage : 0;
        let allSnapshots = [];
        let continueFetching = true;
        while (continueFetching) {
            const snaps = await this.getCloudRepoSnapshots(page);
            const filteredSnapshots = snaps.snapshots.filter(snapshot => {
                const snapshotDate = new Date(snapshot.created);
                return snapshotDate <= startFrom && snapshotDate >= endTo;
            });
            console.debug(`Fetched page ${page + 1}, total snapshots: ${filteredSnapshots.length}: ${snaps.snapshots[0].hCreated} ~ ${snaps.snapshots[snaps.snapshots.length - 1].hCreated}`);
            allSnapshots = allSnapshots.concat(filteredSnapshots);
            page++;
            if (page >= snaps.pageCount || new Date(snaps.snapshots[snaps.snapshots.length - 1].created) < endTo) {
                continueFetching = false;
            }
        }
        return allSnapshots.sort((a, b) => b.created - a.created); // Sort descending
    }
    async downloadSnapshots(startFrom, cutoff, startPage) {
        console.log("Fetching all snapshots...");
        const allSnapshots = await this.getAllSnapshots(startFrom, cutoff, startPage);
        console.log(`Total snapshots fetched: ${allSnapshots.length}`);
        let totalDownloaded = 0;
        for (let i = 0; i < allSnapshots.length; i++) {
            const currentSnapshot = allSnapshots[i];
            const lastSnapshot = i > 0 ? allSnapshots[i - 1] : null;
            const nextSnapshot = i < allSnapshots.length - 1 ? allSnapshots[i + 1] : null;
            if (this.scheduler.shouldDownloadSnapshot(lastSnapshot, currentSnapshot, nextSnapshot)) {
                await this.downloadSnapshot(currentSnapshot);
                totalDownloaded++;
            }
        }
        return totalDownloaded;
    }
    async getCloudRepoSnapshots(page) {
        const response = await request('/api/repo/getCloudRepoSnapshots', {
            page: page
        });
        return response;
    }
    async downloadSnapshot(snapshot) {
        const snapshotId = snapshot.id;
        console.debug(`[${snapshot.hCreated}] Downloaded snapshot ${snapshotId}`);
        await request('/api/repo/downloadCloudSnapshot', {
            id: snapshotId,
            tag: ''
        });
    }
}
async function runMainWithTiming(startFrom, endTo, startPage) {
    console.log("Starting snapshot download process...");
    console.log(`Start date: ${startFrom.toISOString()}`);
    console.log(`Cutoff date: ${endTo.toISOString()}`);
    const startTime = Date.now();
    const snapshotManager = new SnapshotManager();
    const totalDownloaded = await snapshotManager.downloadSnapshots(startFrom, endTo, startPage);
    const endTime = Date.now();
    const executionTime = (endTime - startTime) / 1000; // Convert to seconds
    console.log(`Download process completed.`);
    console.log(`Total snapshots downloaded: ${totalDownloaded}`);
    console.log(`Total execution time: ${executionTime.toFixed(2)} seconds`);
}
let startFrom = new Date('2024-09-01');
let endTo = new Date('2023-12-01');
runMainWithTiming(startFrom, endTo, 74);

下载快照的时候,遵循以下策略:

  • 对于当前周的快照,全部下载
  • 对于最近一个月内的快照,确保每小时至少下载一个,并且总是下载每天的第一个和最后一个快照
  • 对于 1-3 个月内的快照,只保留每天的第一个和最后一个快照
  • 对于 3-6 个月内的快照,只保留每天的最后一个快照
  • 对于 6 个月到 1 年内的快照,每三天保留最后一个快照。
  • 对于超过 1 年的快照,每周保留最后一个快照

运行时间还是相当长的,我大概跑了半个小时的样子,主要问题在于为了谨慎期间没有做并行处理,而是在 for loop 里面一个个 await Promise。

最后效果如下,原本 387 页,下载之后保留了 22 页。临近的一段时间,快照保存的都比较密集;而更为久远的时间段,快照的保存就稀疏一些。

image.png

image.png

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    22337 引用 • 89377 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • WebComponents

    Web Components 是 W3C 定义的标准,它给了前端开发者扩展浏览器标签的能力,可以方便地定制可复用组件,更好的进行模块化开发,解放了前端开发者的生产力。

    1 引用
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言,应用广泛。C++ 支持多种编程范式,面向对象编程、泛型编程和过程化编程。

    107 引用 • 153 回帖
  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    2 引用 • 14 回帖
  • Openfire

    Openfire 是开源的、基于可拓展通讯和表示协议 (XMPP)、采用 Java 编程语言开发的实时协作服务器。Openfire 的效率很高,单台服务器可支持上万并发用户。

    6 引用 • 7 回帖 • 94 关注
  • RIP

    愿逝者安息!

    8 引用 • 92 回帖 • 351 关注
  • 京东

    京东是中国最大的自营式电商企业,2015 年第一季度在中国自营式 B2C 电商市场的占有率为 56.3%。2014 年 5 月,京东在美国纳斯达克证券交易所正式挂牌上市(股票代码:JD),是中国第一个成功赴美上市的大型综合型电商平台,与腾讯、百度等中国互联网巨头共同跻身全球前十大互联网公司排行榜。

    14 引用 • 102 回帖 • 376 关注
  • 机器学习

    机器学习(Machine Learning)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

    83 引用 • 37 回帖 • 1 关注
  • 面试

    面试造航母,上班拧螺丝。多面试,少加班。

    325 引用 • 1395 回帖
  • TGIF

    Thank God It's Friday! 感谢老天,总算到星期五啦!

    287 引用 • 4484 回帖 • 669 关注
  • V2EX

    V2EX 是创意工作者们的社区。这里目前汇聚了超过 400,000 名主要来自互联网行业、游戏行业和媒体行业的创意工作者。V2EX 希望能够成为创意工作者们的生活和事业的一部分。

    17 引用 • 236 回帖 • 327 关注
  • GAE

    Google App Engine(GAE)是 Google 管理的数据中心中用于 WEB 应用程序的开发和托管的平台。2008 年 4 月 发布第一个测试版本。目前支持 Python、Java 和 Go 开发部署。全球已有数十万的开发者在其上开发了众多的应用。

    14 引用 • 42 回帖 • 764 关注
  • 学习

    “梦想从学习开始,事业从实践起步” —— 习近平

    169 引用 • 506 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 19 关注
  • JRebel

    JRebel 是一款 Java 虚拟机插件,它使得 Java 程序员能在不进行重部署的情况下,即时看到代码的改变对一个应用程序带来的影响。

    26 引用 • 78 回帖 • 664 关注
  • 酷鸟浏览器

    安全 · 稳定 · 快速
    为跨境从业人员提供专业的跨境浏览器

    3 引用 • 59 回帖 • 26 关注
  • 区块链

    区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法 。

    91 引用 • 751 回帖 • 2 关注
  • 职场

    找到自己的位置,萌新烦恼少。

    127 引用 • 1705 回帖 • 1 关注
  • Gitea

    Gitea 是一个开源社区驱动的轻量级代码托管解决方案,后端采用 Go 编写,采用 MIT 许可证。

    4 引用 • 16 回帖 • 5 关注
  • Unity

    Unity 是由 Unity Technologies 开发的一个让开发者可以轻松创建诸如 2D、3D 多平台的综合型游戏开发工具,是一个全面整合的专业游戏引擎。

    25 引用 • 7 回帖 • 173 关注
  • 前端

    前端技术一般分为前端设计和前端开发,前端设计可以理解为网站的视觉设计,前端开发则是网站的前台代码实现,包括 HTML、CSS 以及 JavaScript 等。

    247 引用 • 1348 回帖
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言,内置支持类型。它的解释器被称为 JavaScript 引擎,为浏览器的一部分,广泛用于客户端的脚本语言,最早是在 HTML 网页上使用,用来给 HTML 网页增加动态功能。

    729 引用 • 1327 回帖
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    35 引用 • 200 回帖 • 22 关注
  • 房星科技

    房星网,我们不和没有钱的程序员谈理想,我们要让程序员又有理想又有钱。我们有雄厚的房地产行业线下资源,遍布昆明全城的 100 家门店、四千地产经纪人是我们坚实的后盾。

    6 引用 • 141 回帖 • 585 关注
  • 以太坊

    以太坊(Ethereum)并不是一个机构,而是一款能够在区块链上实现智能合约、开源的底层系统。以太坊是一个平台和一种编程语言 Solidity,使开发人员能够建立和发布下一代去中心化应用。 以太坊可以用来编程、分散、担保和交易任何事物:投票、域名、金融交易所、众筹、公司管理、合同和知识产权等等。

    34 引用 • 367 回帖
  • MySQL

    MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。MySQL 是最流行的关系型数据库管理系统之一。

    690 引用 • 535 回帖
  • Sym

    Sym 是一款用 Java 实现的现代化社区(论坛/BBS/社交网络/博客)系统平台。

    下一代的社区系统,为未来而构建

    524 引用 • 4601 回帖 • 700 关注
  • SendCloud

    SendCloud 由搜狐武汉研发中心孵化的项目,是致力于为开发者提供高质量的触发邮件服务的云端邮件发送平台,为开发者提供便利的 API 接口来调用服务,让邮件准确迅速到达用户收件箱并获得强大的追踪数据。

    2 引用 • 8 回帖 • 483 关注