分享一个从云端下载快照到本地的脚本

一个手贱,把我本地的快照全给清空了。

image.png

想了想感觉还是需要下载回来一部分,不然还是有些风险。

但是一个个翻页点击,体感还是太恐怖了。

image.png

看了一下,发现有提供快照相关的 API,所以写了一个脚本批量处理,以下的代码依赖于 RunJs 插件,请放到代码块里面,然后使用插件运行。

"use strict";
const request = globalThis.runJs.api.request;
class SnapshotScheduler {
    constructor() {
        this.now = new Date();
    }
    isInCurrentWeek(date) {
        const startOfWeek = new Date(this.now);
        startOfWeek.setDate(this.now.getDate() - this.now.getDay());
        return date >= startOfWeek;
    }
    getTimeDifferenceInDays(date) {
        return Math.floor((this.now.getTime() - date.getTime()) / (1000 * 3600 * 24));
    }
    isSameDay(date1, date2) {
        return date1.getFullYear() === date2.getFullYear() &&
            date1.getMonth() === date2.getMonth() &&
            date1.getDate() === date2.getDate();
    }
    isHourDifferent(date1, date2) {
        return date1.getHours() !== date2.getHours();
    }
    shouldDownloadSnapshot(last, current, next) {
        const currentDate = new Date(current.created);
        const daysDifference = this.getTimeDifferenceInDays(currentDate);
        if (this.isInCurrentWeek(currentDate)) {
            return true; // Download all snapshots from the current week
        }
        const lastDate = last ? new Date(last.created) : null;
        const nextDate = next ? new Date(next.created) : null;
        if (daysDifference <= 30) {
            // Every hour, plus start and end of day
            if (!lastDate || !this.isSameDay(currentDate, lastDate)) {
                return true; // First snapshot of the day
            }
            if (!nextDate || !this.isSameDay(currentDate, nextDate)) {
                return true; // Last snapshot of the day
            }
            return this.isHourDifferent(currentDate, lastDate);
        }
        if (daysDifference <= 90) {
            // First and last snapshot of each day
            return (!lastDate || !this.isSameDay(currentDate, lastDate)) ||
                (!nextDate || !this.isSameDay(currentDate, nextDate));
        }
        if (daysDifference <= 180) {
            // Last snapshot of each day
            return !nextDate || !this.isSameDay(currentDate, nextDate);
        }
        if (daysDifference <= 365) {
            // Every third day, last snapshot
            if (daysDifference % 3 !== 0)
                return false;
            return !nextDate || !this.isSameDay(currentDate, nextDate);
        }
        // Over a year: weekly, last snapshot
        const weekNumber = Math.floor(daysDifference / 7);
        if (daysDifference % 7 !== 0)
            return false;
        return !nextDate || Math.floor(this.getTimeDifferenceInDays(nextDate) / 7) !== weekNumber;
    }
}
class SnapshotManager {
    constructor() {
        this.scheduler = new SnapshotScheduler();
    }
    async getAllSnapshots(startFrom, endTo, startPage) {
        let page = startPage !== null && startPage !== void 0 ? startPage : 0;
        let allSnapshots = [];
        let continueFetching = true;
        while (continueFetching) {
            const snaps = await this.getCloudRepoSnapshots(page);
            const filteredSnapshots = snaps.snapshots.filter(snapshot => {
                const snapshotDate = new Date(snapshot.created);
                return snapshotDate <= startFrom && snapshotDate >= endTo;
            });
            console.debug(`Fetched page ${page + 1}, total snapshots: ${filteredSnapshots.length}: ${snaps.snapshots[0].hCreated} ~ ${snaps.snapshots[snaps.snapshots.length - 1].hCreated}`);
            allSnapshots = allSnapshots.concat(filteredSnapshots);
            page++;
            if (page >= snaps.pageCount || new Date(snaps.snapshots[snaps.snapshots.length - 1].created) < endTo) {
                continueFetching = false;
            }
        }
        return allSnapshots.sort((a, b) => b.created - a.created); // Sort descending
    }
    async downloadSnapshots(startFrom, cutoff, startPage) {
        console.log("Fetching all snapshots...");
        const allSnapshots = await this.getAllSnapshots(startFrom, cutoff, startPage);
        console.log(`Total snapshots fetched: ${allSnapshots.length}`);
        let totalDownloaded = 0;
        for (let i = 0; i < allSnapshots.length; i++) {
            const currentSnapshot = allSnapshots[i];
            const lastSnapshot = i > 0 ? allSnapshots[i - 1] : null;
            const nextSnapshot = i < allSnapshots.length - 1 ? allSnapshots[i + 1] : null;
            if (this.scheduler.shouldDownloadSnapshot(lastSnapshot, currentSnapshot, nextSnapshot)) {
                await this.downloadSnapshot(currentSnapshot);
                totalDownloaded++;
            }
        }
        return totalDownloaded;
    }
    async getCloudRepoSnapshots(page) {
        const response = await request('/api/repo/getCloudRepoSnapshots', {
            page: page
        });
        return response;
    }
    async downloadSnapshot(snapshot) {
        const snapshotId = snapshot.id;
        console.debug(`[${snapshot.hCreated}] Downloaded snapshot ${snapshotId}`);
        await request('/api/repo/downloadCloudSnapshot', {
            id: snapshotId,
            tag: ''
        });
    }
}
async function runMainWithTiming(startFrom, endTo, startPage) {
    console.log("Starting snapshot download process...");
    console.log(`Start date: ${startFrom.toISOString()}`);
    console.log(`Cutoff date: ${endTo.toISOString()}`);
    const startTime = Date.now();
    const snapshotManager = new SnapshotManager();
    const totalDownloaded = await snapshotManager.downloadSnapshots(startFrom, endTo, startPage);
    const endTime = Date.now();
    const executionTime = (endTime - startTime) / 1000; // Convert to seconds
    console.log(`Download process completed.`);
    console.log(`Total snapshots downloaded: ${totalDownloaded}`);
    console.log(`Total execution time: ${executionTime.toFixed(2)} seconds`);
}
let startFrom = new Date('2024-09-01');
let endTo = new Date('2023-12-01');
runMainWithTiming(startFrom, endTo, 74);

下载快照的时候,遵循以下策略:

  • 对于当前周的快照,全部下载
  • 对于最近一个月内的快照,确保每小时至少下载一个,并且总是下载每天的第一个和最后一个快照
  • 对于 1-3 个月内的快照,只保留每天的第一个和最后一个快照
  • 对于 3-6 个月内的快照,只保留每天的最后一个快照
  • 对于 6 个月到 1 年内的快照,每三天保留最后一个快照。
  • 对于超过 1 年的快照,每周保留最后一个快照

运行时间还是相当长的,我大概跑了半个小时的样子,主要问题在于为了谨慎期间没有做并行处理,而是在 for loop 里面一个个 await Promise。

最后效果如下,原本 387 页,下载之后保留了 22 页。临近的一段时间,快照保存的都比较密集;而更为久远的时间段,快照的保存就稀疏一些。

image.png

image.png

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    21469 引用 • 84875 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • V2EX

    V2EX 是创意工作者们的社区。这里目前汇聚了超过 400,000 名主要来自互联网行业、游戏行业和媒体行业的创意工作者。V2EX 希望能够成为创意工作者们的生活和事业的一部分。

    17 引用 • 236 回帖 • 339 关注
  • 开源

    Open Source, Open Mind, Open Sight, Open Future!

    406 引用 • 3569 回帖
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    336 引用 • 681 回帖 • 1 关注
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 65 关注
  • 30Seconds

    📙 前端知识精选集,包含 HTML、CSS、JavaScript、React、Node、安全等方面,每天仅需 30 秒。

    • 精选常见面试题,帮助您准备下一次面试
    • 精选常见交互,帮助您拥有简洁酷炫的站点
    • 精选有用的 React 片段,帮助你获取最佳实践
    • 精选常见代码集,帮助您提高打码效率
    • 整理前端界的最新资讯,邀您一同探索新世界
    488 引用 • 383 回帖 • 3 关注
  • Kafka

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是现代系统中许多功能的基础。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    35 引用 • 35 回帖
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言,内置支持类型。它的解释器被称为 JavaScript 引擎,为浏览器的一部分,广泛用于客户端的脚本语言,最早是在 HTML 网页上使用,用来给 HTML 网页增加动态功能。

    726 引用 • 1322 回帖 • 23 关注
  • SSL

    SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    70 引用 • 193 回帖 • 439 关注
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    311 引用 • 546 回帖
  • 友情链接

    确认过眼神后的灵魂连接,站在链在!

    24 引用 • 373 回帖
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    286 引用 • 248 回帖 • 90 关注
  • 服务器

    服务器,也称伺服器,是提供计算服务的设备。由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。

    124 引用 • 580 回帖
  • Logseq

    Logseq 是一个隐私优先、开源的知识库工具。

    Logseq is a joyful, open-source outliner that works on top of local plain-text Markdown and Org-mode files. Use it to write, organize and share your thoughts, keep your to-do list, and build your own digital garden.

    5 引用 • 62 回帖 • 2 关注
  • 正则表达式

    正则表达式(Regular Expression)使用单个字符串来描述、匹配一系列遵循某个句法规则的字符串。

    31 引用 • 94 回帖 • 1 关注
  • 新人

    让我们欢迎这对新人。哦,不好意思说错了,让我们欢迎这位新人!
    新手上路,请谨慎驾驶!

    51 引用 • 226 回帖
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    70 引用 • 533 回帖 • 767 关注
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端,也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态;标准是由主流手机厂商组成的快应用联盟联合制定;快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台;以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 30 关注
  • webpack

    webpack 是一个用于前端开发的模块加载器和打包工具,它能把各种资源,例如 JS、CSS(less/sass)、图片等都作为模块来使用和处理。

    41 引用 • 130 回帖 • 259 关注
  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息,资讯有时效性和地域性。

    54 引用 • 85 回帖 • 3 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库,强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery,是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 725 关注
  • 导航

    各种网址链接、内容导航。

    38 引用 • 169 回帖 • 2 关注
  • WebComponents

    Web Components 是 W3C 定义的标准,它给了前端开发者扩展浏览器标签的能力,可以方便地定制可复用组件,更好的进行模块化开发,解放了前端开发者的生产力。

    1 引用 • 6 关注
  • RIP

    愿逝者安息!

    8 引用 • 92 回帖 • 340 关注
  • DNSPod

    DNSPod 建立于 2006 年 3 月份,是一款免费智能 DNS 产品。 DNSPod 可以为同时有电信、网通、教育网服务器的网站提供智能的解析,让电信用户访问电信的服务器,网通的用户访问网通的服务器,教育网的用户访问教育网的服务器,达到互联互通的效果。

    6 引用 • 26 回帖 • 511 关注
  • GitLab

    GitLab 是利用 Ruby 一个开源的版本管理系统,实现一个自托管的 Git 项目仓库,可通过 Web 界面操作公开或私有项目。

    46 引用 • 72 回帖