从阿里云日志服务 sls 导出到 oss

罐头鱼 - devopser 罐头鱼 - devopser 本文由博客端 http://www.devopser.org 主动推送

背景

sls 收费存储和索引各占一部分,而且索引的收费不便宜,毕竟查看很久之前的历史数据是比较低频的操作。

为节约费用,可以将日志直接导出到归档规格的 oss,sls 本身只保留较短时间即可(比如一周)。需要查看历史日志时,再创建个临时 project 将日志从 oss 导入 sls,看完删除即可。

一、新写入日志导出到 oss

sls 可以直接开启投递到 oss,但是只支持新写入的日志

  1. 点开 logstore,在导出中选择 OSS(对象存储)
    1.png
  2. 点击开启投递
    2.png
  3. 填写用于保存日志的 OSS 信息
    3.png

二、历史日志导出到 oss

准备信息:

历史日志导出到 oss 目前只能借助 dataworks 来实现

  1. 开通 dataworks 服务,在空间列表创建新工作空间
    4.png

    点击数据集成

    5.png

  2. 进入数据源管理
    6.png

  3. 点击新增数据源
    7.png

  4. 添加 sls 数据源,选择 loghub,网络选择阿里云 vpc,其他根据具体信息填写即可

8.png

9.png

  1. 添加 oss 数据源,网络选择阿里云 vpc,其他根据具体信息填写即可10.png

11.png

  1. 进入数据开发页面12.png

13.png

  1. 点击带"+"的图标,创建业务流程14.png

15.png

  1. 创建离线同步,目标文件夹中就是刚才创建的业务流程16.png

17.png

  1. 配置同步信息

来源选择 loghub(sls)

去向选择 oss

点击保存,运行,不要点击提交,否则会周期性运行。
20.png

三、从 oss 把日志导入 sls

oss 导入到 sls 有 2 个入口:

  1. 打开 project,点击右侧的接入数据

21.png

  1. 选择 OSS-对象存储
    22.png
  2. 如果之前 OSS 使用的规格是归档型,这里要打开解冻,填好信息点击预览,然后点击下个配置
    23.png

如果选择 oss region 时提示没有权限,需要点击提示连接授权后再继续操作
24.png

  1. 点击测试,显示结果后点击下个配置25.png
  2. 导入间隔改成 5 分钟,打开立即执行,点击下一步26.png
  3. 打开索引27.png
  4. 点击下一步后提示完成接入配置28.png
  1. 打开 logstore,点击数据导入右边的"+"

29.png

  1. 点击 OSS-对象存储,后面的步骤一样30.png

参考资料

实时日志,可以在日志服务控制台开启 oss 数据投递

将日志服务数据投递到OSS_投递日志到OSS_数据投递_消费与投递_日志服务 - 阿里云

dataworks 创建同步任务

创建同步任务 - DataWorks - 阿里云

dataworks 来做数据同步:

LogHub Reader

LogHub Reader_配置Reader插件_附录_数据集成_DataWorks-阿里云

OSS Writer

https://help.aliyun.com/knowledge_detail/137765.html

dataworks 产生的费用: 开通 DataWorks 按量计费就可以,dataworks 提供了免费额度 https://help.aliyun.com/document_detail/118599.html

sls 新版预付资源包折扣策略说明

包年包月(新版资源包) - 日志服务 - 阿里云

sls 存储空间使用情况

账单详情里可以看到,登录 https://usercenter2.aliyun.com/finance/expense-report/expense-detail-by-instance 选择“计费项”和“明细”,切记,注意! 产品选择日志服务,将 csv 导出,这里能看到每个 logstore 的日志 size。

sls 导入 oss 数据

导入OSS数据 - 日志服务 - 阿里云

开启并配置索引

开启并配置索引_查询与分析_日志服务 - 阿里云

  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    31 引用 • 23 回帖 • 3 关注
2 操作
fish2018 在 2020-10-29 18:53:06 更新了该帖
fish2018 在 2020-10-29 18:47:29 更新了该帖

广告 我要投放

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...