欢迎报名iLogtail性能优化项目（通义灵码助力开源大赛）

[yyuuttaaoo]

项目-iLogtail日志解析性能优化

背景

在数字化转型加速的时代，开源软件已成为技术创新的重要基石，支撑着全球数以百万计的应用和服务。维护和优化这些项目，确保其质量和可持续性成为前所未有的挑战。

iLogtail 作为一款监控和日志采集的开源软件，自发布以来得到了广大开发者的支持和贡献，如今已经发展到了2.0版本。在版本迭代和功能拓展的过程中，我们发现 iLogtail 针对特定格式（例如nginx、json、分隔符）的日志解析性能尚未达到理想状态。考虑到这些特定格式在日志和数据处理中的广泛应用，优化它们的解析和处理能力将极大地提升 iLogtail 的整体效率。

目标

通过使用通义灵码，发现优化点并提升以下几种日志格式的解析性能：

1. JSON日志
2. Nginx日志格式
3. 多行日志

我们将公开一个验证用的日志数据集，包含这三类数据。参赛者需要针对这三种日志解析场景进行优化，以减少数据集的总处理时间并提高解析成功率。

此外，我们还准备了一个未公开的数据集，优化后的 iLogtail 处理该数据集的总时间和成功率将作为评定参赛者最终成绩的标准。

难度

进阶

参赛对象

1. 有编程基础的初学者（计算机系在校学生）
2. 有一定应用开发实践经验（初级开发工作者）
3. 有专业技术基础，有企业应用开发经验（企业开发者）

产出要求

• 优化方案设计：分析当前日志解析过程中存在的性能瓶颈，提出并详述具体的优化方案，包括使用新的解析库、代码优化和算法改进等。
• 代码实现和优化：根据设计方案，修改 iLogtail 的代码实现日志解析性能的提升。
• 撰写性能分析报告：使用公开的验证数据集进行测试，记录优化前后的处理时间和解析成功率。
• 技术文档：撰写和更新技术文档，记录优化过程、关键技术点及最终效果，以便社区其他开发者参考和学习。
• 提交 Pull Request：将优化后的代码和文档以 Pull Request 的方式提交到 iLogtail 开源项目中，进行社区贡献。

能力要求

• 扎实的编程基础：熟练使用 C++ 语言，进行高效的代码开发和优化。
• 性能分析与优化经验：具备分析和优化代码性能的实战经验，能够精准识别并解决性能瓶颈。
• 文档编写能力：能够清晰、详细地记录优化方案、过程和效果，同时撰写高质量的技术文档。
• 开源项目协作能力：具备丰富的开源项目协作经验，熟悉代码审查、提交 Pull Request 和处理社区反馈。

通过本次比赛，iLogtail社区希望不仅能够解决当前项目中的实际问题，还能培养参赛者在开源项目中的协作能力和综合技能，推动开源技术的发展。期待您的参与和贡献！

报名方式

敬请等待通义灵码大赛官方报名通道开放。想提前锁定名额？欢迎在iLogtail社区群内 at 我们。

[ying-hua]

您好！请问这个项目有相关的issue吗，还是需要自己提一个issue?

[Takuka0311]

比赛链接：https://tianchi.aliyun.com/competition/entrance/532215/information
ilogtail社区采用第二种方式：

需要解决的问题即是本discussion所提出的“日志解析性能优化”
测试数据集会在本周更新到该代码库：https://github.com/iLogtail/ilogtail-lingma-contest/tree/main ，后续的开发和测试均基于此代码库进行，在比赛结束前提交pr到此仓库。
最终获胜的代码会合入主仓库。