LianjiaTech/BELLE

This is stars and forks stats for /LianjiaTech/BELLE repository. As of 29 Apr, 2024 this repository has 6831 stars and 663 forks.

BELLE: Be Everyone's Large Language model Engine Read this in English. 本项目的目标是促进中文对话大模型开源社区的发展，愿景是成为能够帮到每一个人的LLM Engine。 相比如何做好大语言模型的预训练，BELLE更关注如何在开源预训练大语言模型的基础上，帮助每一个人都能够得到一个属于自己的、效果尽可能好的具有指令表现能力的语言模型，降低大语言模型、特别是中文大语言模型的研究和应用门槛。为此，BELLE项目会持续开放指令训练数据、相关模型、训练代码、应用场景等，也会持续评估不同训练数据、训练算法等对模型表现的影响。BELLE针对中文做了优化，模型调优仅使用由ChatGPT生产的数据（不包含任何其他数据）。 🔄 最近更新 [2023/09/26] 更新了RLHF的训练代码，支持PPO和DPO训练，具体细节见：README_RLHF.md [2023/08/16] 基于原有的train_3.5M_CN数据新增了指令类别字段，共包括13个类别，具体细节见：train_3.5M_CN_With_Category [2023/08/10]...