这。。。这不是我的梦中情库嘛 求大佬建个微信群~

[chuanzhubin]

作者大大，你太牛了。上班看到的，忍不住要动手。
我有一个数据集在qwen2-0.5B上SFT效果很好，心里一直想要往下再scale，看看在超级小的模型上的表现如何。
这。。。这不就来了吗

求大佬建个微信群~

[chuanzhubin]

有个小疑问就是，我的设备是4个2080ti 22G，图灵架构，不支持flash-attention2.
会影响往下做实验吗？

[jingyaogong]

有个小疑问就是，我的设备是4个2080ti 22G，图灵架构，不支持flash-attention2.
会影响往下做实验吗？

没有影响的哦，无flash-attn自动用普通attn计算

[jingyaogong]

作者大大，你太牛了。上班看到的，忍不住要动手。
我有一个数据集在qwen2-0.5B上SFT效果很好，心里一直想要往下再scale，看看在超级小的模型上的表现如何。
这。。。这不就来了吗

求大佬建个微信群~

照qwen2-0.5B的效果肯定差得多哈哈，只能简单验证一下，不过现在比0.5B的模型还小的确实很少。建群可能无心打理，暂时无打算。

推荐几个相近的、很有启发的、非常优秀的项目，可对照着了解一下。

中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。支持下游任务sft微调，给出三元组信息抽取微调示例。
https://github.com/charent/ChatLM-mini-Chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
https://github.com/DLLXW/baby-llama2-chinese

从0开始，将chatgpt的技术路线跑一遍。
https://github.com/AI-Study-Han/Zero-Chatgpt

从零实现一个小参数量中文大语言模型。
https://github.com/wdndev/tiny-llm-zh

从0到1构建一个MiniLLM (pretrain+sft+dpo实践中)
https://github.com/Tongjilibo/build_MiniLLM_from_scratch

感谢关注！！！

[chuanzhubin]

感谢大神的高级分享。
您比较忙专注于项目维护，我们自己借楼建个“共学互助”微信群
如有不妥的话，请告知。

[lmk123568]

作者大大，你太牛了。上班看到的，忍不住要动手。
我有一个数据集在qwen2-0.5B上SFT效果很好，心里一直想要往下再scale，看看在超级小的模型上的表现如何。
这。。。这不就来了吗
求大佬建个微信群~

照qwen2-0.5B的效果肯定差得多哈哈，只能简单验证一下，不过现在比0.5B的模型还小的确实很少。建群可能无心打理，暂时无打算。

推荐几个相近的、很有启发的、非常优秀的项目，可对照着了解一下。

中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。支持下游任务sft微调，给出三元组信息抽取微调示例。
https://github.com/charent/ChatLM-mini-Chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
https://github.com/DLLXW/baby-llama2-chinese

从0开始，将chatgpt的技术路线跑一遍。
https://github.com/AI-Study-Han/Zero-Chatgpt

从零实现一个小参数量中文大语言模型。
https://github.com/wdndev/tiny-llm-zh

从0到1构建一个MiniLLM (pretrain+sft+dpo实践中)
https://github.com/Tongjilibo/build_MiniLLM_from_scratch

感谢关注！！！

你好，建议建一个群，打开你自身的影响力

[YiqiWang128]

微信群二维码过期了，可以麻烦在发一个吗感谢