【急】Ilogtail采集延迟，CPU和内存使用率上不来

[yecun123]

现象：Ilogtail采集有延迟，落库ES有延迟及其它日志有延迟，kafka无消费堆积。删除checkpoints 重启后，短暂恢复，3min后持续堆积。
项目容器部署配置: CPU分配：2C-4C（最大） 内存：2G->4G（最大） Ilogtail版本：1.3.1
启动配置如下：
{
"check_point_dump_interval" : 5,
"cpu_usage_limit" : 16,
"max_bytes_per_sec" : 41943040,
"mem_usage_limit" : 8192,
"polling_file_first_watch_timeout" : 600,
"polling_ignore_file_modify_timeout" : 7200
}
项目特点： 日志量是比较大的，日志切割较为频繁
以下附上Ilogtail采集日志，麻烦协助看下，谢谢~
ilogtail.LOG

[shalousun]

可以描述下你的日志采集、写入的场景，因为下游写入反压也会导致延迟

[yecun123]

链路： 业务日志采集（通用日志、接口日志、运行日志）->kafka->es/(Flink 聚合处理->CK)
现状： es运行日志落库时差超过 50min ，接口日志落库大屏图表显示落差很大，其它业务日志都是正常的，间接说明下游链路没有阻塞。问题是 CPU使用率平衡在0.6~0.8 ，怎么调启动参数都不生效。

[yecun123]

Ilogtail采集时间跟日志实际时间相差较大，采集的已经是历史文件，但采集历史文件就算了，CPU使用率为何上不来，很奇怪，日志里有采集配置，帮忙细看下，谢谢~

[messixukejia]

可以参考下：https://github.com/alibaba/ilogtail/discussions/801、https://github.com/alibaba/ilogtail/discussions/870 排查下

[messixukejia]

日志可以看下插件日志

[yecun123]

好的，kafka监控没看到限流异常，我们看插件日志再细排查下

[yecun123]

logtail_plugin_136.8.LOG
你好，附件附上了插件日志，kafka那边没监控到限流， CPU使用率目前在1.1核，分配了34核，内存使用 4G，分配4G，当前已拉满 ，这里内存堆积的原因是写入kafka慢？

[shalousun]

@yecun123 从ilogtail的日志看是存在反压的，反压后会导致ilogtail侧队列满然后。这里也建议用新的版本，如果推送kafka不是采用动态topic配置，推送效率也会比1.3.1要高