【急】Ilogtail采集发送kafka在tags下加入自定义字段

[shangyujia99]

使用二进制方式部署在服务器上，想收集日志到kafka，因为contents下是正常日志信息，但收集没有标识项目信息等，目前不想污染contents下的日志，想在tags下加入自定义的一些信息

[shangyujia99]

当前kafka日志信息如下，想在tags下加入自定义的项目信息

{
    "contents":{
        "file":"HandlerResultHandlerSupport.java",
        "level":"DEBUG",
        "lineNum":"161",
        "message":"2023-09-18 15:28:25.068 DEBUG 7 --- [boundedElastic-342] org.springframework.web.reactive.result.method.annotation.ResponseBodyResultHandler",
        "method":"selectMediaType",
        "pro_time":"2023-09-18 15:28:25.068",
        "thread":"boundedElastic-342"
    },
    "tags":{
        "host.ip":"172.27.77.40",
        "host.name":"uat-nfs40",
        "log.file.path":"/data/demand-gateway/demand-gateway_all.log"
    },
    "time":1695022105
}

[shangyujia99]

目前的需求就是，在不污染contents里原始日志内容情况下，对日志类型或归属进行自定义打标签，比如在tags下填写日志归属的服务或项目信息

[messixukejia]

是采集pipeline级别的添加还是根据日志内容日志级添加的？

[shangyujia99]

采集pipeline级别的，类似在处理阶段的插件processor-add-fields

[messixukejia]

想了下使用add_fileds插件添加字段以__tag__:为前缀就可以了，发送的时候会提取到tags里，具体可以看下TestConvertToSimple用例

[shangyujia99]

可以了，太感谢了！

[messixukejia]

👍🏻麻烦补充下kakfa flusher的文档吧，社区需要大家一起来贡献的。

另外，也欢迎登记下使用场景#693

[shangyujia99]

遇到一个新问题，在K8S使用DaemonSet部署，想取自定义容器变量赋值给add_fileds下需要添加的字段，没有效果

    processors:
      - Type: processor_add_fields
        Fields:
          __tag__:ll_project: "${ll_project}"
          __tag__:ll_service: "${ll_service}"
        IgnoreIfExist: false

[shalousun]

DaemonSet部署的iLogtail是不能获取到业务容器的标签，容器变量这些的。sidecar才行，但是不是非常高的日志sidecar可能占用资源多，ilogtail和每个容器捆绑