蜡笔猫导航
project-maya
在自有 GPU 上私有运行多种 MoE 大模型的本地推理套件，支持单卡到 16 卡、NVIDIA GPU，AMD 与 Windows 为实验性支持。
它能做什么
- 支持在自有 GPU 上私有运行多个大模型
- 支持单卡到 16 卡部署
- 主要支持 NVIDIA GPU，AMD 为实验性支持
- 可在 Linux 上使用，Windows 为实验性支持
- 提供兼容 OpenAI/Anthropic 的 API 与量化版本
适合谁
- 想在自有硬件私有部署大模型的团队
- 需要在 NVIDIA/AMD 多卡环境运行 MoE 模型的用户
- 想用兼容 API 接入现有应用的开发者
详细介绍
面向希望在自有硬件上私有运行大模型的用户，project-maya 提供从单卡到 16 卡的部署方式，主要面向 NVIDIA GPU，AMD 与 Windows 为实验性支持。它包含针对各模型定制的推理引擎，以及兼容 OpenAI 和 Anthropic 的 API，便于接入现有客户端或应用；同时提供自研量化版本，方便按硬件条件调整模型占用。来源称可运行 GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017 和 MiniMax-M3.1-Flash 等 MoE 模型。适合关注数据不出本地、需要多卡推理和模型量化的团队与开发者；具体模型支持情况和硬件要求建议以仓库文档为准。
