日志格式转换支持

[messixukejia]

需求

iLogtail开源后做为一个通用的可观测采集器，需要对接Kafka、ElasticSearch、ClickHouse等第三方系统。每种存储系统日志输出格式的要求不尽相同，如果靠后续的数据处理组件在进行加工规整，会比较复杂，不利于iLogtail推广。
因此，需要制定一个可扩展可定义的日志格式规范，用户可以根据自己的要求进行定制。
具体分为如下几个维度：

• 日志格式 Protocol：SLS协议 / OTLP协议 / 自定义格式
• 编码格式 Encoding：Json（默认）/PB
• 批次：批量 / 单条
• 结构 LogStructure：平铺 / 结构化

协议支持

SLS协议配置（批量、结构化）

Protocol: SLS
Encoding: PB/Json

OTLP协议（批量、结构化）

Protocol: OTEL
Encoding: PB/Json

KV单条结构

LogStructure: plain、Structured
Encoding: PB/Json
TagsMap: {
	"src_tag": "target_tag"
}

内置tag key：

log.file.path
host.name
host.ip
k8s.namespace.name
k8s.pod.name
k8s.pod.uid
k8s.image.name
k8s.container.ip
k8s.container.name

container.ip
container.name

k8s.label.x

例子

{
	"time": ,
	"tags": {

  },
	"content": {

  }
}

KV批量结构（批量）

Encoding: PB/Json
TagsMap: {
	"src_tag": "target_tag"
}

例子

{
	"tags": {

  	},
	"value": 	
	[
  	   {
    	      "time": ,
    	      "content": {
    
              }
           },
  	  {

           }
	]
}