基于LLM+RAG的跑团小助手

[SingaCycle]

1. 背景

个人跑团助手，利用大型语言模型（LLM）和检索增强生成模型（RAG）的组合。作为跑团支持，角色扮演以及小说创作中的个人助手。主要是实现包括关键规则以及背景故事的查询，场景设定和推演，剧情模拟等功能。

2.项目内容

(1) 收集代码/书籍数据，作为微调数据集或者知识库外挂

(2) 设计Prompt模板

(3) 搭建LLM工作流程

(4) 前端展示页面

(5) 基于微调，是LLM的生成风格更符合任务(待定)

(6) 基于知识图谱(小说人物关系，事件流程)+RAG的高效检索(待定)

(7) 生成内容的结构化展示(人物关系之类)(待定)

3.暂定技术栈

(1) 基座模型：InternLM，Qwen的开源7B

(2) 微调框架：XTuner

(3) Chain，Prompt框架：Langchain

(4) RAG框架: Langchain, LLamma Index

(5) 部署： LMDeploy

(6) 展示： streamlit