发送Kafka延迟 loggroup queue is full

[wangpeix]

采集配置

enable: true
inputs:
  - Type: file_log
    LogPath: /data1/benchmark/logs
    FilePattern: "benchmark.log"
flushers:
  - Type: flusher_kafka_v2
    Version: 0.10.2.0
    Brokers:
      - xxxx:xxx
      - xxxx:xxx
    Topic: swan_test_logtail
    Authentication:
      SASL:
        Username: xxx
        Password: xxx

问题描述

采集延迟。

ilogtail.LOG日志:

[2023-04-18 16:14:23.812526]	[warning]	[000543]	/src/core/reader/LogFileReader.cpp:1519		read log delay:/data1/benchmark/logs/benchmark.log	fall behind bytes:52838574976	file size:108120599040	read pos:55282024064

logtail_plugin.LOG日志:

2023-04-18 16:15:21 [WRN] [plugin_runner_v1.go:251] [runProcessorInternal] [config#/data1/software/ilogtail-1.4.0/./user_yaml_config.d/benchmark.yaml,]	AlarmType:AGGREGATOR_ADD_ALARM	error:loggroup queue is full	logstore:	config:config#/data1/software/ilogtail-1.4.0/./user_yaml_config.d/benchmark.yaml

[shalousun]

可以补充下信息：

• 测试的日志写入量xx条/s或者多少MB/s
• ilogtail采集压测的机器配置

影响性能的可能存在下面几点因素：

• ilogtail自身代码性能：如转换写入Kafka可能存在性能问题。
• 机器的cpu、io等资源。
• 网络带宽，流量大带宽不足写入也会延迟

[wangpeix]

写入流量: 11mb/s
机器配置: 40c、125G。
目前看发kafka 稳定在3mb/s

[wangpeix]

找到原因了，Kafka服务端对生产有限流。解除生产限流后，目前看logtail采集性能起来了。

[messixukejia]

👍 欢迎在#693 记录下使用场景，也欢迎写一些使用案例🤝。