https://github.com/mudler/LocalAI

LocalAI

LocalAI是一个免费的、开源的OpenAI替代品。它提供了一个与OpenAI API规范兼容的REST API，让我们可以在本地或企业内部轻松运行大型语言模型（LLMs），生成图像、音频等，而且最重要的是，它不需要GPU！是的，你没听错，消费级的硬件就能搞定一切！

性能特色

• 本地化：数据不必上传到云端，增强了数据隐私和安全性。
• 兼容性：支持多种模型家族，可以直接作为OpenAI等API的替代品，降低了迁移成本。
• 易用性：通过Docker等容器技术，LocalAI可以轻松部署和运行，无需复杂的配置。
• 无需GPU：是的，你没看错，消费级的硬件就能搞定一切，是不是很神奇？
• 可选的GPU：当然，如果你有GPU，LocalAI也支持，性能会更上一层楼哦！
• 支持多个不同架构模型：无论是ggml、gguf还是GPTQ，LocalAI都能轻松应对。