xusenlinzy/api-for-open-llm

This is stars and forks stats for /xusenlinzy/api-for-open-llm repository. As of 05 May, 2024 this repository has 902 stars and 106 forks.

API for Open LLMs 图片来自于论文: [A Survey of Large Language Models](https://arxiv.org/pdf/2303.18223.pdf) 🐧 QQ交流群：870207830 📢 新闻 【2023.09.27】 添加 Qwen-14B-Chat-Int4 模型支持，启动方式链接 【2023.09.07】 添加 baichuan2 模型支持，启动方式链接 【2023.08.28】 添加 transformers.TextIteratorStreamer 流式输出支持，只需将环境变量修改为 USE_STREAMER_V2=true 【2023.08.26】 添加 code-llama 模型支持，启动方式链接，使用示例链接 【2023.08.23】 添加 sqlcoder 模型支持，启动方式链接，使用示例链接 【2023.08.22】 添加 xverse-13b-chat 模型支持，启动方式链接 【2023.08.10】 添加 vLLM 推理加速支持，使用文档 【2023.08.03】...