ClassicalChineseTranslater

👋 加入我们：

🔍 探索我们的模型：

介绍

XTuner-Template 是一个模版仓库，提供了一个使用 XTuner 工具库训练大模型的“起点”。

除了支持模版仓库的基础功能，其也集成了一系列 Git / GitHub 的自动化功能：

• 提交前检查（Pre-commit check）
• GitHub 自动化工作流（Workflows of GitHub Actions）
• Issue 模版、Pull request (PR) 模版

安装

1. 准备 Python 虚拟环境：

   conda create --name xtuner-env python=3.10 -y
   conda activate xtuner-env

2. 克隆该仓库：

   git clone https://github.com/waurblove/ClassicalChineseTranslater.git
   cd ./ClassicalChineseTranslater

3. 安装依赖库：

   pip install -r requirements.txt

训练

1. 开始

   # On a single GPU
   xtuner train ${YOUR_CONFIG} --deepspeed deepspeed_zero2

   • --deepspeed 表示使用 DeepSpeed 🚀 来优化训练过程。XTuner 内置了多种策略，包括 ZeRO-1、ZeRO-2、ZeRO-3 等。如果用户期望关闭此功能，请直接移除此参数。

2. 将保存的 .pth 模型（如果使用的DeepSpeed，则将会是一个文件夹）转换为 HuggingFace 模型：

   xtuner convert pth_to_hf ${YOUR_CONFIG} ${PTH} ${SAVE_PATH}

对话

xtuner chat ${NAME_OR_PATH_TO_LLM} [optional arguments]

可选参数：

• --adapter: 指定 adapter 名字或路径。
• --prompt-template: 指定对话模版（应与所对话的 LLM 对齐）。
• --system: 指定对话的系统字段。
• --bits {4,8,None}: 指定 LLM 的比特数。默认为 fp16。
• --no-streamer: 是否移除 streamer。
• 更多信息，请执行 xtuner chat -h 查看。

数据集出处

https://github.com/scagin/cctc

开源许可证

该项目采用 Apache License 2.0 开源许可证。