分享一个从云端下载快照到本地的脚本

一个手贱,把我本地的快照全给清空了。

image.png

想了想感觉还是需要下载回来一部分,不然还是有些风险。

但是一个个翻页点击,体感还是太恐怖了。

image.png

看了一下,发现有提供快照相关的 API,所以写了一个脚本批量处理,以下的代码依赖于 RunJs 插件,请放到代码块里面,然后使用插件运行。

"use strict";
const request = globalThis.runJs.api.request;
class SnapshotScheduler {
    constructor() {
        this.now = new Date();
    }
    isInCurrentWeek(date) {
        const startOfWeek = new Date(this.now);
        startOfWeek.setDate(this.now.getDate() - this.now.getDay());
        return date >= startOfWeek;
    }
    getTimeDifferenceInDays(date) {
        return Math.floor((this.now.getTime() - date.getTime()) / (1000 * 3600 * 24));
    }
    isSameDay(date1, date2) {
        return date1.getFullYear() === date2.getFullYear() &&
            date1.getMonth() === date2.getMonth() &&
            date1.getDate() === date2.getDate();
    }
    isHourDifferent(date1, date2) {
        return date1.getHours() !== date2.getHours();
    }
    shouldDownloadSnapshot(last, current, next) {
        const currentDate = new Date(current.created);
        const daysDifference = this.getTimeDifferenceInDays(currentDate);
        if (this.isInCurrentWeek(currentDate)) {
            return true; // Download all snapshots from the current week
        }
        const lastDate = last ? new Date(last.created) : null;
        const nextDate = next ? new Date(next.created) : null;
        if (daysDifference <= 30) {
            // Every hour, plus start and end of day
            if (!lastDate || !this.isSameDay(currentDate, lastDate)) {
                return true; // First snapshot of the day
            }
            if (!nextDate || !this.isSameDay(currentDate, nextDate)) {
                return true; // Last snapshot of the day
            }
            return this.isHourDifferent(currentDate, lastDate);
        }
        if (daysDifference <= 90) {
            // First and last snapshot of each day
            return (!lastDate || !this.isSameDay(currentDate, lastDate)) ||
                (!nextDate || !this.isSameDay(currentDate, nextDate));
        }
        if (daysDifference <= 180) {
            // Last snapshot of each day
            return !nextDate || !this.isSameDay(currentDate, nextDate);
        }
        if (daysDifference <= 365) {
            // Every third day, last snapshot
            if (daysDifference % 3 !== 0)
                return false;
            return !nextDate || !this.isSameDay(currentDate, nextDate);
        }
        // Over a year: weekly, last snapshot
        const weekNumber = Math.floor(daysDifference / 7);
        if (daysDifference % 7 !== 0)
            return false;
        return !nextDate || Math.floor(this.getTimeDifferenceInDays(nextDate) / 7) !== weekNumber;
    }
}
class SnapshotManager {
    constructor() {
        this.scheduler = new SnapshotScheduler();
    }
    async getAllSnapshots(startFrom, endTo, startPage) {
        let page = startPage !== null && startPage !== void 0 ? startPage : 0;
        let allSnapshots = [];
        let continueFetching = true;
        while (continueFetching) {
            const snaps = await this.getCloudRepoSnapshots(page);
            const filteredSnapshots = snaps.snapshots.filter(snapshot => {
                const snapshotDate = new Date(snapshot.created);
                return snapshotDate <= startFrom && snapshotDate >= endTo;
            });
            console.debug(`Fetched page ${page + 1}, total snapshots: ${filteredSnapshots.length}: ${snaps.snapshots[0].hCreated} ~ ${snaps.snapshots[snaps.snapshots.length - 1].hCreated}`);
            allSnapshots = allSnapshots.concat(filteredSnapshots);
            page++;
            if (page >= snaps.pageCount || new Date(snaps.snapshots[snaps.snapshots.length - 1].created) < endTo) {
                continueFetching = false;
            }
        }
        return allSnapshots.sort((a, b) => b.created - a.created); // Sort descending
    }
    async downloadSnapshots(startFrom, cutoff, startPage) {
        console.log("Fetching all snapshots...");
        const allSnapshots = await this.getAllSnapshots(startFrom, cutoff, startPage);
        console.log(`Total snapshots fetched: ${allSnapshots.length}`);
        let totalDownloaded = 0;
        for (let i = 0; i < allSnapshots.length; i++) {
            const currentSnapshot = allSnapshots[i];
            const lastSnapshot = i > 0 ? allSnapshots[i - 1] : null;
            const nextSnapshot = i < allSnapshots.length - 1 ? allSnapshots[i + 1] : null;
            if (this.scheduler.shouldDownloadSnapshot(lastSnapshot, currentSnapshot, nextSnapshot)) {
                await this.downloadSnapshot(currentSnapshot);
                totalDownloaded++;
            }
        }
        return totalDownloaded;
    }
    async getCloudRepoSnapshots(page) {
        const response = await request('/api/repo/getCloudRepoSnapshots', {
            page: page
        });
        return response;
    }
    async downloadSnapshot(snapshot) {
        const snapshotId = snapshot.id;
        console.debug(`[${snapshot.hCreated}] Downloaded snapshot ${snapshotId}`);
        await request('/api/repo/downloadCloudSnapshot', {
            id: snapshotId,
            tag: ''
        });
    }
}
async function runMainWithTiming(startFrom, endTo, startPage) {
    console.log("Starting snapshot download process...");
    console.log(`Start date: ${startFrom.toISOString()}`);
    console.log(`Cutoff date: ${endTo.toISOString()}`);
    const startTime = Date.now();
    const snapshotManager = new SnapshotManager();
    const totalDownloaded = await snapshotManager.downloadSnapshots(startFrom, endTo, startPage);
    const endTime = Date.now();
    const executionTime = (endTime - startTime) / 1000; // Convert to seconds
    console.log(`Download process completed.`);
    console.log(`Total snapshots downloaded: ${totalDownloaded}`);
    console.log(`Total execution time: ${executionTime.toFixed(2)} seconds`);
}
let startFrom = new Date('2024-09-01');
let endTo = new Date('2023-12-01');
runMainWithTiming(startFrom, endTo, 74);

下载快照的时候,遵循以下策略:

  • 对于当前周的快照,全部下载
  • 对于最近一个月内的快照,确保每小时至少下载一个,并且总是下载每天的第一个和最后一个快照
  • 对于 1-3 个月内的快照,只保留每天的第一个和最后一个快照
  • 对于 3-6 个月内的快照,只保留每天的最后一个快照
  • 对于 6 个月到 1 年内的快照,每三天保留最后一个快照。
  • 对于超过 1 年的快照,每周保留最后一个快照

运行时间还是相当长的,我大概跑了半个小时的样子,主要问题在于为了谨慎期间没有做并行处理,而是在 for loop 里面一个个 await Promise。

最后效果如下,原本 387 页,下载之后保留了 22 页。临近的一段时间,快照保存的都比较密集;而更为久远的时间段,快照的保存就稀疏一些。

image.png

image.png

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    23006 引用 • 92538 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • GitHub

    GitHub 于 2008 年上线,目前,除了 Git 代码仓库托管及基本的 Web 管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表)、代码片段分享(Gist)等功能。正因为这些功能所提供的便利,又经过长期的积累,GitHub 的用户活跃度很高,在开源世界里享有深远的声望,并形成了社交化编程文化(Social Coding)。

    210 引用 • 2036 回帖
  • IDEA

    IDEA 全称 IntelliJ IDEA,是一款 Java 语言开发的集成环境,在业界被公认为最好的 Java 开发工具之一。IDEA 是 JetBrains 公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主。

    181 引用 • 400 回帖
  • uTools

    uTools 是一个极简、插件化、跨平台的现代桌面软件。通过自由选配丰富的插件,打造你得心应手的工具集合。

    6 引用 • 14 回帖
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    8444 引用 • 38459 回帖 • 154 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    343 引用 • 723 回帖
  • golang

    Go 语言是 Google 推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克(Rob Pike)说:我们之所以开发 Go,是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。

    497 引用 • 1388 回帖 • 279 关注
  • 30Seconds

    📙 前端知识精选集,包含 HTML、CSS、JavaScript、React、Node、安全等方面,每天仅需 30 秒。

    • 精选常见面试题,帮助您准备下一次面试
    • 精选常见交互,帮助您拥有简洁酷炫的站点
    • 精选有用的 React 片段,帮助你获取最佳实践
    • 精选常见代码集,帮助您提高打码效率
    • 整理前端界的最新资讯,邀您一同探索新世界
    488 引用 • 384 回帖
  • jsDelivr

    jsDelivr 是一个开源的 CDN 服务,可为 npm 包、GitHub 仓库提供免费、快速并且可靠的全球 CDN 加速服务。

    5 引用 • 31 回帖 • 72 关注
  • 周末

    星期六到星期天晚,实行五天工作制后,指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖
  • API

    应用程序编程接口(Application Programming Interface)是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。

    77 引用 • 430 回帖 • 2 关注
  • Firefox

    Mozilla Firefox 中文俗称“火狐”(正式缩写为 Fx 或 fx,非正式缩写为 FF),是一个开源的网页浏览器,使用 Gecko 排版引擎,支持多种操作系统,如 Windows、OSX 及 Linux 等。

    8 引用 • 30 回帖 • 409 关注
  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    15 引用 • 7 回帖
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖 • 1 关注
  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息,资讯有时效性和地域性。

    55 引用 • 85 回帖
  • Mac

    Mac 是苹果公司自 1984 年起以“Macintosh”开始开发的个人消费型计算机,如:iMac、Mac mini、Macbook Air、Macbook Pro、Macbook、Mac Pro 等计算机。

    166 引用 • 595 回帖
  • abitmean

    有点意思就行了

    27 关注
  • LeetCode

    LeetCode(力扣)是一个全球极客挚爱的高质量技术成长平台,想要学习和提升专业能力从这里开始,充足技术干货等你来啃,轻松拿下 Dream Offer!

    209 引用 • 72 回帖
  • 支付宝

    支付宝是全球领先的独立第三方支付平台,致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验,及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖 • 5 关注
  • sts
    2 引用 • 2 回帖 • 197 关注
  • HBase

    HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 75 关注
  • 宕机

    宕机,多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态,也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态,也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 59 关注
  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 172 关注
  • Vue.js

    Vue.js(读音 /vju ː/,类似于 view)是一个构建数据驱动的 Web 界面库。Vue.js 的目标是通过尽可能简单的 API 实现响应的数据绑定和组合的视图组件。

    265 引用 • 666 回帖 • 1 关注
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言,由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码,也可以编译成 JavaScript,方便在没有 JVM 的设备上运行。在 Google I/O 2017 中,Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 63 关注
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端,也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖
  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    93 引用 • 113 回帖 • 1 关注