在NVIDIA Jetson平台离线部署大模型，开启离线具身智能新纪元。
本项目提供一种将LMDeploy移植到NVIDIA Jetson系列边缘计算卡的方法，并在Jetson计算卡上运行InternLM系列大模型，为离线具身智能提供可能。
- [2024/3/15] 更新了对LMDeploy-v0.2.5。
- [2024/2/26] 本项目被LMDeploy官方社区收录。
- 招募社区管理员(联系方式，[email protected])
- 招募更多型号Jetson板卡的Benchmark测试数据，可直接PR，如：
- Jetson Nano
- Jetson TX2
- Jetson AGX Xavier
- Jetson Orin Nano
- Jetson AGX Orin
- 招募开发者制作Jetson专用whl发行版
- README优化等
- ✅：已验证可运行
- ❌：已验证不可运行
- ⭕️：待验证
| Models | InternLM-7B | InternLM-20B | InternLM2-1.8B | InternLM2-7B | InternLM2-20B |
|---|---|---|---|---|---|
| Orin AGX(32G) Jetpack 5.1 |
✅ Mem:??/?? 14.68 token/s |
✅ Mem:??/?? 5.82 token/s |
✅ Mem:??/?? 56.57 token/s |
✅ Mem:??/?? 14.56 token/s |
✅ Mem:??/?? 6.16 token/s |
| Orin NX(16G) Jetpack 5.1 |
✅ Mem:8.6G/16G 7.39 token/s |
✅ Mem:14.7G/16G 3.08 token/s |
✅ Mem:5.6G/16G 22.96 token/s |
✅ Mem:9.2G/16G 7.48 token/s |
✅ Mem:14.8G/16G 3.19 token/s |
| Xavier NX(8G) Jetpack 5.1 |
❌ | ❌ | ✅ Mem:4.35G/8G 28.36 token/s |
❌ | ❌ |
如果您有更多Jetson系列板卡，欢迎运行Benchmark并通过Pull requests(PR)提交结果，成为社区贡献者之一！
- 更新更多型号Jetson板卡的Benchmark测试数据
- 制作Jetson专用whl发行版
- 跟进更新版本的LMDeploy
- InternDog: 基于InternLM2大模型的离线具身智能导盲犬 [Github] [Bilibili]
如果本项目对您的工作有所帮助，请使用以下格式引用：
@misc{2024lmdeployjetson,
title={LMDeploy-Jetson：Opening a new era of Offline Embodied Intelligence},
author={LMDeploy-Jetson Community},
url={https://github.com/BestAnHongjun/LMDeploy-Jetson},
year={2024}
}