【discussion】benchmark 类型讨论

[bifenglin]

论文《A BenchCouncil view on benchmarking emerging and future computing》从顶层设计了如何设计一个benchmark，说明了5个分类体系，根据文中第二个分类 representative workloads说明

是将问题和相关解决方案实例化，通常基于一个suit。这部分目的的是提高workload的准确率、性能等部分。比如对一些图算法进行benchmark、测一测这些算法性能。这部分的研究是针对图算法、图神经网络相关，往往伴随着对算法的优化和改进，这部分我认为也是我们实验室的研究方向之一。
第四类a representative data set我认为可以算成，比如通过专家经验找出代表性的社区和仓库，或者指出哪个指标高于哪个阈值的算健康的。这部分的目的是给予别人业务上的指导和参照，这个共识就比较难的，但也是我们研究的一块内容。

第三类implicit definition of the problem using a standardized data set这个分类的目的是给别人提供可用的数据集我们整理了一些开源图数据集，这个是其他数据集没有的，也可以当作其他人研究开源相关问题的数据集。我们在这些数据集上跑第二类中的一些图算法，形成一些结果。因为我们现在对标OGB，我认为OGB属于这一类。
第五类best practices in diverse domains，这个也是我们最终目标，形成开源领域的一些实践。例如说如何将社区的指标提高到第四类中的那个健康值。

所以综上所述，我们应该属于二三四五类，但是目前阶段我们能实现的是第三类。而这二三四五类也能包含我们所有论文方向，确定哪些同学的研究领域属于哪一层。也是从技术->业务的递增关系。

[bifenglin]

而且理论上每一层都有相关的论文会议，不同的同学研究不同的层面，然后方向性也好确定，目的性也好确定，有利于实验室出科研成果。

[will-ww]

说的非常好，这样我们的 OpenPerf 就理顺了~

我也来想想，然后用文字来确定下来~

[will-ww]

，这部分我认为也是我们实验室的研究方向之一。

确实，其实这么说的话，每一类我们都会涉及了，也挺好，够宽~