需求背景
需求:
k8s 的应用日志解决方案,不同项目组的日志要采集到不同的 logstore,并且只采集指定环境的日志(dev/test/prd)
方案:
- logtail 使用 daemonset 方式
- 通过 crd 来自定义日志采集
1. 部署 helm v3
helm: https://github.com/helm/helm/releases
wget https://get.helm.sh/helm-v3.3.4-linux-amd64.tar.gz \ && tar xf helm-v3.3.4-linux-amd64.tar.gz \ && \cp -a linux-amd64/helm /usr/local/bin/helm \ && helm version
2. 部署 logtail-daemonset
安装 Logtail 日志组件:https://help.aliyun.com/document_detail/157317.html
开通一个子账号专门用于管理日志服务,并创建 project k8s-log-custom-logtail
,官方推荐"k8s-log-custom-"开头,咨询客服得知这个其实是可以随便自定义的
wget http://logtail-release-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/kubernetes/alicloud-log-k8s-custom-install.sh; \ && chmod 744 ./alicloud-log-k8s-custom-install.sh; \ && sh ./alicloud-log-k8s-custom-install.sh {your-project-suffix} {region-id} {aliuid} {access-key-id} {access-key-secret}
查看
helm status alibaba-log-controller
3. 配置 aliyunlog-crd
file 极简采集方式,配置多个 crd 来支持不同项目组使用不同 logstore,容器的环境变量需要包含 ENV
和 GROUP
,用于筛选需要采集日志的容器
log-crd-dev-demo.yml
apiVersion: log.alibabacloud.com/v1alpha1 kind: AliyunLogConfig metadata: # 资源名,在集群内唯一 name: log-demo namespace: log-crd spec: # [可选]Project名称,默认为安装时设置的Project,若指定Project请确保该Project未被使用 # project: k8s-log-custom-logtail # Logstore名称,不存在时自动创建 logstore: k8s-demo # [可选]Shard数量,默认为2,支持1-10 shardCount: 2 # 详细配置 logtailConfig: # 采集的数据源类型,file(文本文件)或plugin(标准输出) inputType: file # 采集配置的名称,与资源名(metadata.name)保持一致 configName: log-demo inputDetail: # 极简模式日志,logType设置为"common_reg_log" logType: common_reg_log # 日志文件夹 logPath: /var/log/app # 文件名, 支持通配符,例如log_*.log filePattern: "*.log" # 采集容器内的文件,dockerFile设置为true dockerFile: true # 只采集包含指定环境变量的容器日志,多个变量时,只要满足其中一个就会被采集 dockerIncludeEnv: GROUP: demo # 排除包含指定变量 dockerExcludeEnv: ENV: "^test|prd$"
查看
kubectl -n log-crd get aliyunlogconfigs
参考链接
K8S 日志采集最佳实操
https://www.cnblogs.com/lihanlin/p/12657680.html
Kubernetes 中 Logtail 日志采集 CRD 配置详解
https://blog.csdn.net/weixin_34406061/article/details/89700948
安装 Logtail 日志组件
https://help.aliyun.com/document_detail/157317.html
通过 DaemonSet-CRD 方式采集日志
https://help.aliyun.com/document_detail/74878.html
Logtail 配置
https://help.aliyun.com/document_detail/29058.html
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于