日常学习资料

Appearance

Return to top
On this page

LocalAI

开源 AI 引擎 | GitHub 45K+ ⭐ | MIT 协议

是什么

LocalAI 是一个开源的 AI 引擎，可以在任何硬件上运行各种 AI 模型（LLMs、视觉、语音、图像、视频），无需 GPU。

由 mudler 开发，主打本地化部署。

解决啥

  • GPU 依赖：传统本地大模型需要昂贵显卡
  • 云端隐私：不想把敏感数据发送到第三方 API
  • 部署复杂：想本地跑模型但不想配置复杂环境
  • 多模态需求：需要同时跑文本、图像、语音等多种模型

怎么跑

Docker（推荐）

bash
# 快速启动
docker run -p 8080:8080 -v ./models:/models quay.io/go-skynet/local-ai:latest

# 使用 docker-compose
wget https://raw.githubusercontent.com/mudler/LocalAI/master/docker-compose.yaml
docker-compose up

二进制安装

bash
# 下载预编译二进制
curl -Lo local-ai https://github.com/mudler/LocalAI/releases/latest/download/local-ai-Darwin-arm64
chmod +x local-ai
./local-ai

从源码编译

bash
git clone https://github.com/mudler/LocalAI.git
cd LocalAI
make build

好在哪

维度说明
无 GPU 也行支持 CPU 推理，入门门槛低
多模态LLM、Vision、Voice、Image、Video 都能跑
模型广泛支持 Llama、Gemma、Mistral、Stable Diffusion 等
API 兼容OpenAI API 兼容，可直接替换
隐私安全完全本地运行，数据不外传
Docker 友好一键部署，易于管理

怎么用

场景 1：本地 LLM 推理

bash
# 启动后访问 API
curl http://localhost:8080/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "llama-3-8b", "prompt": "Hello"}'

场景 2：生成图片

bash
curl http://localhost:8080/v1/images/generations \
  -H "Content-Type: application/json" \
  -d '{"model": "stabilityai/sd-xl", "prompt": "A cat"}'

场景 3：语音转文字

bash
curl http://localhost:8080/v1/audio/transcriptions \
  -F "file=@audio.wav"

相关链接