BigMoeOnEdge

在手机、笔记本等边缘设备上运行超出内存大小的 MoE 大模型的推理工具，基于原生 llama.cpp 做自适应流式加载。

本地模型与推理免费GGUFMoE开源推理加速本地运行流式加载端侧推理

GitHub更新于 2026-11-01

它能做什么

BigMoeOnEdge 是一个面向边缘设备的 MoE 大模型推理项目，目标是在内存远小于模型体积的手机、笔记本或嵌入式硬件上运行前沿规模的 MoE 模型。它构建在原生 llama.cpp 之上，通过自适应的流式加载方式把权重按需调入内存，仓库称这一过程是无损的。

使用上，它会在本地启动一个 OpenAI 兼容的服务端，已有的客户端或脚本把地址指向它即可调用，不必改动接口协议。按仓库描述，它不限定硬件、操作系统、模型与量化格式，常见 GGUF 量化模型都在覆盖范围内；具体到某台设备的可用性与推理速度仍需自行实测。

适合想在端侧离线跑大 MoE 模型的开发者、做边缘 AI 方案验证的团队，以及需要本地 OpenAI 兼容接口来接入自家应用的场景。项目以 C++ 编写，采用 Apache-2.0 许可证，可在 GitHub 获取。