Rapid-MLX

Apple Silicon 上的双兼容推理服务器，赌的是「工具调用不翻车」

项目速览

项目 内容
仓库 raullenchai/Rapid-MLX
语言 Python（基于 Apple MLX 框架）
Stars 约 3,989（2026-10-17 GitHub API 口径），Forks 432
协议 README 声明 Apache-2.0（GitHub 许可证自动识别为 NOASSERTION，建议部署前自行核实）
首发 2026-02-25 建仓，当前 0.15.x，持续周更
定位 Apple Silicon 本地 LLM 推理服务器，主打编码 Agent 的可靠工具调用

它想解决什么问题

M 系列芯片本地推理的车库已经停了不少车：mlx-lm（苹果官方参考实现）、oMLX、Ollama、LM Studio。Rapid-MLX 挑的切口不是裸 tok/s，而是一个更具体的故障模式：编码 Agent 的活计全是工具调用——读文件、跑测试、grep、打补丁。推理层一旦把 function call 格式搞错、或解码跟不上，Agent 要么崩要么爬。这和”聊天慢一点”是两种完全不同的故障。Rapid-MLX 把”工具调用不翻车”写成了头条卖点。

核心机制拆解

1. 双 API 兼容，客户端零改动。 同一服务同时暴露 OpenAI 兼容路由（/v1/chat/completions、/v1/completions、/v1/models、/v1/responses、/v1/embeddings、音频与图像）和 Anthropic Messages 路由（/v1/messages）。Claude Code、Aider、LangChain、Codex CLI 改个 base URL 就能指过来——http://localhost:8000/v1（OpenAI 客户端）或 http://localhost:8000（Anthropic 客户端），模型名用别名或仓库 ID 均可。

2. 一条命令接上编码 Agent。 rapid-mlx launch claude-code 直接帮你把 Claude Code 接到本地服务，官方为每个主流 Agent 都写了一行接入指南。

3. 性能：数字要打折看。 项目自测（Qwen3.5-9B 4-bit、Mac mini M4 Pro 48GB、同权重对比 mlx-lm 0.32.0）：解码最高快 4 倍，典型任务约 1.5 倍——长 prompt 的 Agent 回合接近持平。需要诚实地说：4 倍对标的是苹果参考实现，本就不是速度标杆；所有数字均为项目方单机单模型自测，尚无独立复现。

4. 为 Agent 负载造的基建。 连续批处理（continuous batching）；radix 前缀缓存落盘、重启后恢复，长会话不必每次冷启动；27 个工具调用解析器模块，覆盖各家模型的 function call 输出格式；Typed Decisions API 提供结构化输出。

5. 多模态不止于聊天。 同一服务器还能做图像/视频/音频生成、转录和语音克隆——本地多模态枢纽的定位。

6. 默认安全姿态。 默认只监听 127.0.0.1、不校验 key；要联网时再显式 --host 0.0.0.0 + API key + --trusted-hosts，健康探针保持开放。这比”默认裸奔”的同类实现更稳。

与 mlx-lm 自带服务器的差异

迁移成本 = 改 base URL + 换模型名，别的不动。

点评

亮点在于定位精准：本地推理的下半场拼的不是裸 tok/s，而是 Agent 负载下不翻车。双 API 兼容 + 前缀缓存落盘 + 27 个工具解析器，全部指向”让 Claude Code 这类 Agent 在 Mac 上稳定干活”这一个目标；默认只绑回环地址的安全默认值也值得表扬。

局限：仅支持 Apple Silicon，README 明确表示不提供 Windows/Linux 桌面构建；性能数字是自测单点数据，进选型前请在同机同模型下跑一遍工具调用密集的负载；GitHub 许可证识别异常，虽然 README 声明 Apache-2.0，商用前建议看清仓库根目录的 LICENSE 文件；项目年轻，成熟度待观察。

适合人群：M 系列 Mac 上跑本地编码 Agent 的开发者；想把 Claude Code 的 token 账单降到零的隐私敏感用户；以及在 Mac mini 上搭家庭推理枢纽的折腾党。