关于ilogtail 插件在Kubernetes 部署的一些设想

[EvanLjp]

基本概念

ilogtail在k8s 中经常使用Daemonset 部署, ilogtail的插件可以分为几类

1. 全节点常驻型, 如dockerstadout 采集日志,分发到各个节点即可, 适合Daemonset 模型
2. 单节点部署型, 时候单副本部署
   • 如Kubernetesmeta 插件采集k8s 元信息,因此只需要采集一份
   • 如Telegraf 插件采集其他中间件信息, 因此只需要部署一份,避免多采集
3. 多节点模型
   • 如Prometheus插件, 支持sharding 功能, 因此最适合的形态为satefulset 模型

问题

因此Logtail 在一个集群内可能存在着Deployment, Satefulset, Daemonset 等不同部署形式, 对于管控端下发配置时需要关注部署的模型,避免错误下发的问题, 因此提出一个想法,是否可以使用一份Daemonset 部署解决不同形态的问题

1. 单节点部署模型如何适配
2. 多节点sharding 模型如何适配

一些设想

1. 单节点部署问题
   单节点部署模型需要再集群内实现一套分布式锁功能, Kubernetes 本身已经拥有一致性存储能力, 借助Resource 应该可以轻松完成此目的, 如以下项目实现了基于k8s 的分布式锁: https://github.com/werf/lockgate
2. 多节点sharding模型
   多节点sharding 问题实际是将Daemonset 模拟成Statefulset 模型, 目前的设想其实也比较简单, Daemonset watch apiserver 后根据list 后根据hostname 排序, 之后按序号对应statefulset 的0->N 节点(仅仅watch 自身, 传输量不会成为apiserver 瓶颈, 对于超大集群,因为长连接特性会占用节点socket , 因此此方案对于超大规模集群, 如ODPS单集群数千太会消耗大量socket 资源,还是建议特殊化部署)