Ollama

一条 docker/install 命令、一句 ollama run，本地就能跑起 Llama、Qwen、DeepSeek 等上百个模型

项目速览

项目 内容
仓库 ollama/ollama
语言 Go
协议 MIT
星标 约 17 万（2026 年口径）
平台 macOS / Linux / Windows

它想解决什么问题

本地跑大模型的门槛曾经高得离谱：下权重、配量化、装推理引擎、写 API 服务，一圈折腾下来热情已经没了。大多数人的真实需求只是”我在自己电脑上问两句，别把数据传出去”。

Ollama 把这条链路压成两条命令，并且顺手把 OpenAI 兼容的 API 也提供了——于是所有为 GPT 写的代码，改一个 base_url 就能跑在本地模型上。

核心机制拆解

1. 模型即拉即用。 ollama pull qwen2.5:7b 之后就能 run，量化版本、显存适配由它挑，用户不用懂 GGUF 的细节。

2. OpenAI 兼容接口。 /v1/chat/completions 与工具调用都兼容，这是它能成为”本地模型标准入口”的决定性因素——生态几乎是零成本迁移过来的。

3. Modelfile 定制。 用类似 Dockerfile 的写法固化系统提示词、参数与模板，把”我的常用配置”变成一个可分享的制品。

4. 跨平台一致。 三个桌面系统体验统一，Metal / CUDA / ROCm 后端自行选择，装完就能用。

安装与上手

1
2
3
curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5:7b
curl http://localhost:11434/v1/models

配合 Open WebUI 或任意 OpenAI SDK，就是一套完整的本地 AI 栈。

点评

亮点是把”摩擦”消到最小：不要求你理解推理引擎，也不要求你改写应用代码。它没有发明新技术，但把权重分发、量化选择、API 兼容三件事拼得恰到好处——产品化能力本身就是护城河。

局限：面向单机与个人场景，多卡并行、高并发吞吐不是它的强项，生产推理该用 vLLM 一类引擎；模型库以社区量化版为主，版本与来源可信度需要自己把关；默认参数保守，做严肃评测要自己调；GPU 显存不足时会静默降级到 CPU，速度差一个数量级。

适合人群：想在本地试模型、做隐私敏感任务的开发者；需要给内部工具接一个”不花钱的模型”的团队；以及把本地模型当离线兜底方案的架构师。