怎么用OpenCompas 测试 kvcache 量化的的精度

[seeyourcell]

Motivation

怎么用OpenCompas 测试 kvcache 量化的的精度

Related resources

No response

Additional context

No response

[seeyourcell]

有对应的脚本吗？ 在OpenCompass 看到可以用 huggface 的模型测试，但kvcache 量化的模型怎么用 OpenCompass 测试

[lvhan028]

opencompass中有一个PR：
open-compass/opencompass#484
只要准备好 kv cache 量化后的 turbomind 模型，就能使用这个PR测试了。
不过这个PR中的config是针对 internlm 模型的。

[seeyourcell]

1、只要准备好 kv cache 量化后的 turbomind 模型 的路径，选择 ./workspace 还是workspace/turbomind 还是 workspace/triton_models
2、 triton_models 和 turbomind 有什么区别， 开启kv cache 量化 是 triton_models的weight 还是 turbomind/1/weight

[seeyourcell]

https://github.com/InternLM/lmdeploy/blob/main/docs/en/kv_int8.md

[lvhan028]

Since v0.4.0, LMDeploy has supported online 4-bit/8-bit kv cache quantization. The old offline way was removed.
The guide about the model evaluation using lmdeploy as an accelerator can be found from here

If kv cache quantization is required for evaluation, please set quant_policy to the engine_config. quant_policy=4 means 4-bit kv quantization and quant_policy=8 indicates 8-bit kv quantization