LocalAI 官网

一个实现了在个人电脑上运行 LLM 模型，并集成了服务接口和在线聊天界面的项目。

网站服务：AI开源项目，ai，AI编程，AI开源项目，ai。

LocalAI简介

:robot: The free， Open Source OpenAI alternative. Self-hosted， community-driven and local-first. Drop-in replacement for OpenAI running on consumer-grade hardware. No GPU required. Runs ggml， gguf， GPTQ， onnx， TF compatible models: llama， llama2， rwkv， whisper， vicuna， koala， cerebras， falcon， dolly， starcoder， and many others – GitHub – mudler/LocalAI: :robot: The free， Open Source OpenAI alternative. Self-hosted， community-driven and local-first. Drop-in replacement for OpenAI running on consumer-grade hardware. No GPU required. Runs ggml， gguf， GPTQ， onnx， TF compatible models: llama， llama2， rwkv， whisper， vicuna， koala， cerebras， falcon， dolly， starcoder， and many others
LocalAI是一个可替换的REST API，与OpenAI API规范兼容，用于本地推理。它允许你用消费级硬件在本地或内部运行LLM（而不仅仅是），支持与ggml格式兼容的多个模型系列。不需要GPU。