ymcui/Chinese-LLaMA-Alpaca-2

中文LLaMA-2 & Alpaca-2大模型二期项目 + 16K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs, including 16K long context models)

PythonShellnlpllamaalpaca16klarge-language-modelsllmflash-attentionllama2llama-2alpaca-2alpaca2
This is stars and forks stats for /ymcui/Chinese-LLaMA-Alpaca-2 repository. As of 02 May, 2024 this repository has 4286 stars and 321 forks.

🇨🇳中文 | 🌐English | 📖文档/Docs | ❓提问/Issues | 💬讨论/Discussions | ⚔️竞技场/Arena 本项目基于Meta发布的可商用大模型Llama-2开发,是中文LLaMA&Alpaca大模型的第二期项目,开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表,使用了大规模中文数据进行增量预训练,进一步提升了中文基础语义和指令理解能力,相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度,长上下文版模型支持16K上下文长度,并可通过NTK方法最高扩展至24K+上下文长度。 本项目主要内容 🚀 针对Llama-2模型扩充了新版中文词表,开源了中文LLaMA-2和Alpaca-2大模型 🚀 开源了预训练脚本、指令精调脚本,用户可根据需要进一步训练模型 🚀 使用个人电脑的CPU/GPU快速在本地进行大模型量化和部署体验 🚀 支持🤗transformers,...
Read on GithubGithub Stats Page
repotechsstarsweeklyforksweekly
RaymondWang987/NVDSPythonShell3440140
Flipper-XFW/Xtreme-FirmwareCPythonHTML4.9k+78341+5
ventoy/PXECAssemblyPerl1940130
ViewFaceCore/ViewFaceCoreC#C++Batchfile633+61510
nu11secur1ty/Windows11ExploitsC++CPython1020250
yuzu-emu/yuzu-androidC++KotlinCMake2320130
InternLM/lmdeployC++CudaPython1.2k0980
foundry-rs/starknet-foundryRustCairoShell1860360
slipstream/SlipStreamServerClojureJavaHTML6040
opendatahub-io/notebooksPythonDockerfileJupyter Notebook80240