ztxz16/fastllm

This is stars and forks stats for /ztxz16/fastllm repository. As of 09 May, 2024 this repository has 2283 stars and 251 forks.

fastllm 介绍 fastllm是纯c++实现，无第三方依赖的高性能大模型推理库 6~7B级模型在安卓端上也可以流畅运行 部署交流QQ群： 831641348 | 快速开始 | 模型获取 | 开发计划 | 功能概述 🚀 纯c++实现，便于跨平台移植，可以在安卓上直接编译 🚀 ARM平台支持NEON指令集加速，X86平台支持AVX指令集加速，NVIDIA平台支持CUDA加速，各个平台速度都很快就是了 🚀 支持浮点模型（FP32), 半精度模型(FP16), 量化模型(INT8, INT4) 加速 🚀 支持多卡部署，支持GPU + CPU混合部署 🚀 支持Batch速度优化 🚀 支持并发计算时动态拼Batch 🚀 支持流式输出，很方便实现打字机效果 🚀 支持python调用 🚀 前后端分离设计，便于支持新的计算设备 🚀 目前支持ChatGLM模型，各种LLAMA模型(ALPACA, VICUNA等)，BAICHUAN模型，MOSS模型 两行代码加速 （测试中，暂时只支持ubuntu） 使用如下命令安装fastllm_pytools包 cd fastllm mkdir build cd build cmake...