蜡笔猫导航
它能做什么
- 将模型权重放在 SSD 上按需流式加载，突破物理内存限制
- 原生 Swift 实现，基于 MLX 与 Metal 加速
- 完全离线运行，不需要 Python 环境
- 提供 CLI、Swift 库以及对 Ollama / OpenAI / Anthropic 兼容的 API
- 可直接配合 Claude Code、Codex 等现有客户端使用
适合谁
- 想在内存有限的 Apple Silicon Mac 上本地跑大模型的开发者
- 需要离线、无 Python 依赖推理环境的使用者
- 希望在自家 macOS 应用里集成推理能力的 Swift 工程师
详细介绍
slotstream 是一个用原生 Swift 编写的本地推理引擎，面向 Apple Silicon Mac。它针对内存受限的机器，把量化后的大模型放在 SSD 上，按需流式读取并缓存当前需要的专家权重，从而在 16–64 GB 内存的 Mac 上运行参数量远超内存容量的模型（当前默认模型为 4-bit 的 Qwen3.8-Flash-Next，125B 参数）。核心能力基于 MLX 与 Metal，下载完成后全程离线运行，不依赖 Python 环境或云端账号。除命令行外，还提供 Swift 库，并对外暴露兼容 Ollama / OpenAI / Anthropic 的接口，因此可以直接接入 Claude Code、Codex 等已有客户端。项目目前处于早期阶段（最新版本 v0.2.30），只围绕单一模型维护，此前的 Fast/Q2 模型与原生 Mac App 实验已归档。适合想在本地 Mac 上跑大模型、但硬件内存不足以完整装下模型的开发者；也适合希望用 Swift 在 macOS 应用里集成推理能力的工程师。
