ack集群使用社区版ilogtail，采集不到日志数据

[hanzoi]

背景：由于系统遗留问题，目前需要使用社区版 ilogtail ds 模式采集容器内日志文件的方式上报日志到阿里云 kafka，再由我们自建的 logstash 和 es 进行消费

遇到问题：参考 https://github.com/alibaba/ilogtail/blob/main/docs/cn/getting-started/k8s-daemonset-to-kafka.md 已完成 ilogtail 配置文件和 ds 的拉起，但目前看到 ilogtail 未进行正常采集，且也没有产生任何报错

镜像为：
sls-opensource-registry.cn-shanghai.cr.aliyuncs.com/ilogtail-community-edition/ilogtail:latest

容器标准输出为：
ilogtail started. pid: 11
register fun v2 0x697dd0 0x699a90 0x699490 0x699ac0
2022/10/09 07:28:20 DEBUG Now using Go's stdlib log package (via loggers/mappers/stdlib).
load log config /usr/local/ilogtail/plugin_logger.xml

以下为 configmap 配置：
enable: true
inputs:

• Type: file_log
  LogPath: /var/log/nginx/
  FilePattern: "access.log"
  DockerFile: true
  processors:
• Type: processor_json
  SourceKey: content
  KeepSource: false
  ExpandDepth: 1
  ExpandConnector: ""
  flushers:
• Type: flusher_kafka
  Brokers:
  • 172.16.149.40:9092,172.16.149.41:9092,172.16.149.42:9092
    Topic: ilogtail_test

[yyuuttaaoo]

先改一下flusher，改成stdout的看看有没有结果输出。https://ilogtail.gitbook.io/ilogtail-docs/data-pipeline/flusher/stdout
还有就是看看这几个日志，有没有报错。https://ilogtail.gitbook.io/ilogtail-docs/configuration/logging

[hanzoi]

2022-10-10 01:36:09 [ERR] [plugin_export.go:92] [LoadConfig] AlarmType:CONFIG_LOAD_ALARM load config error, project: logstore: config:config#/usr/local/ilogtail/./user_yaml_config.d/php-config.yaml error:kafka: client has run out of available brokers to talk to (Is your cluster reachable?)

[hanzoi]

上面这个是 logtail_plugin.LOG 里的报错，因为我们节点上有之前部署的 filebeat 也是把日志数据投递到这个 kafka ，可以确认集群本身是可以访问这个 kafka 的，不确定是不是需要在 ilogtail 的配置文件里指定 kafka version ，我们之前 filebeat 也遇到过类似问题，是通过增加 version 声明解决的

[messixukejia]

建议等下新版的kafka flusher吧，可以关注下这个pr #443

可以参与下review，有需求可以在issue里提。

[yinbucheng]

这个问题解决了吗？我也遇到同样问题，kafka版本是2.6.0

[yinbucheng]

kafka集群也没问题logstash都能正常消费kafka数据入库到es中

[yinbucheng]

背景：由于系统遗留问题，目前需要使用社区版 ilogtail ds 模式采集容器内日志文件的方式上报日志到阿里云 kafka，再由我们自建的 logstash 和 es 进行消费

遇到问题：参考 https://github.com/alibaba/ilogtail/blob/main/docs/cn/getting-started/k8s-daemonset-to-kafka.md 已完成 ilogtail 配置文件和 ds 的拉起，但目前看到 ilogtail 未进行正常采集，且也没有产生任何报错

镜像为： sls-opensource-registry.cn-shanghai.cr.aliyuncs.com/ilogtail-community-edition/ilogtail:latest

容器标准输出为： ilogtail started. pid: 11 register fun v2 0x697dd0 0x699a90 0x699490 0x699ac0 2022/10/09 07:28:20 DEBUG Now using Go's stdlib log package (via loggers/mappers/stdlib). load log config /usr/local/ilogtail/plugin_logger.xml

以下为 configmap 配置： enable: true inputs:

• Type: file_log
  LogPath: /var/log/nginx/
  FilePattern: "access.log"
  DockerFile: true
  processors:

• Type: processor_json
  SourceKey: content
  KeepSource: false
  ExpandDepth: 1
  ExpandConnector: ""
  flushers:

• Type: flusher_kafka
  Brokers:

  • 172.16.149.40:9092,172.16.149.41:9092,172.16.149.42:9092
    Topic: ilogtail_test

你问题解决了吗，我和你遇到同样的问题，kafka集群是没问题的，logstash都可以正常消费。我这边kafka版本是2.6.0

[shalousun]

brokers多个地址配置错误，172.16.149.40:9092,172.16.149.41:9092,172.16.149.42:9092，正确的配置参考如下：

 Brokers:
     - 172.16.149.40:9092
     - 172.16.149.41:9092
     - 172.16.149.42:9092