yangjianxin1/Firefly

Firefly(流萤): 中文对话式大语言模型(全量微调+QLoRA),支持微调Baichuan2、CodeLlama、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya、Bloom等大模型

Pythonbloomllamagptloraalpacapeftbaichuanllminstruction-tuningchatglmqlorachatglm2chatglm2-6binternlmbaichuan-13bllama2llama-2qwenxversebaichuan2
This is stars and forks stats for /yangjianxin1/Firefly repository. As of 29 Apr, 2024 this repository has 2725 stars and 225 forks.

Firefly(流萤): 中文对话式大语言模型 欢迎加入Firefly大模型技术交流群,关注我们的公众号,点击加群按钮即可。 欢迎关注我们的知乎进行交流讨论:红雨瓢泼 News 🔥 开源Firefly-LLaMA2-Chinese项目,经过中文词表扩充、增量预训练、多轮指令微调等,与现有的开源工作相比,具有不错的竞争力,并且整个流程我们仅使用4*V00进行训练。该项目也对Baichuan、Qwen、InternLM、LLaMA、Falcon等模型进行高效增量预训练。 🔥 开源firefly-baichuan2-13b,在OpenCompass的CMMLU榜单上以56.83的分数,位列第8,比百川官方Chat模型略低1.57分。 🔥 支持微调书生.浦语InternLM-20B模型,可在一张V100上进行训练。 🔥 支持微调百川Baichuan2模型。 🔥 新增模型评测结果 & 4bit量化推理脚本 & 模型部署成http服务 🔥 支持微调codellama模型,可用训练数据:Open-Platypus、computer_zh_26k、computer_en_26k 往期News 🔥...
Read on GithubGithub Stats Page
repotechsstarsweeklyforksweekly
ThioJoe/Full-Stack-AI-Meme-GeneratorPython219+2230
wdxtub/WDXpeakStataPython809+22010
sweenzor/writelatex-compileTeXPython3000
ymcui/Chinese-LLaMA-Alpaca-2PythonShell4.3k03210
RaymondWang987/NVDSPythonShell3440140
Flipper-XFW/Xtreme-FirmwareCPythonHTML4.9k+78341+5
ventoy/PXECAssemblyPerl1940130
nu11secur1ty/Windows11ExploitsC++CPython1020250
yuzu-emu/yuzu-androidC++KotlinCMake2320130
InternLM/lmdeployC++CudaPython1.2k0980