Skip to content

Latest commit

 

History

History
38 lines (35 loc) · 1.54 KB

Build.md

File metadata and controls

38 lines (35 loc) · 1.54 KB

需求:

  • 操作系统: Linux
  • Python: 3.10
  • NVIDIA GPU: Compute Capability 7.0 或者更高 (例如V100, T4, RTX20xx, A100, L4, H100等)

进入docker

如果接下来是准备使用whl包来安装,那么进入docker是可选的。如果是从源代码构建,那么进入docker是必选的。 如果本机环境比较复杂,建议进入docker,环境比较干净。 镜像地址见: 镜像发布历史

git clone https://github.com/alibaba/rtp-llm.git
cd docker
# 注意:以下两条指令,不要使用sudo执行
# 如果是cuda11的环境(默认配置),IMAGE_NAME为 registry.cn-hangzhou.aliyuncs.com/havenask/rtp_llm:cuda11
# 如果是cuda12的环境,IMAGE_NAME为 registry.cn-hangzhou.aliyuncs.com/havenask/rtp_llm:cuda12
sh ./create_container.sh <CONTAINER_NAME> <IMAGE_NAME>
sh CONTAINER_NAME/sshme.sh

构建

您也可以通过源代码来进行编译。源码构建使用bazel作为构建系统,推荐版本5.2.0。 cuda11的环境:

cd rtp-llm
pip3 install -r ./open_source/deps/requirements_torch_gpu.txt
bazel build //maga_transformer:maga_transformer --jobs 100 --verbose_failures
# 修改test.py中的模型路径,运行一个实际的模型
bazel test //example:test --jobs 100

cuda12的环境:

cd rtp-llm
pip3 install -r ./maga_transformer/requirements_torch_gpu_cuda12.txt
bazel build //maga_transformer:maga_transformer --jobs 100 --verbose_failures --config=cuda12_2
# 修改test.py中的模型路径,运行一个实际的模型
bazel test //example:test --jobs 100