加载中…
在内存装不下大模型的 Apple Silicon Mac 上，从 SSD 流式加载并运行大模型的本地推理工具。
在自有 GPU 上私有运行多种 MoE 大模型的本地推理套件，支持单卡到 16 卡、NVIDIA GPU，AMD 与 Windows 为实验性支持。
面向自有消费级 GPU 的 Qwen 大模型高速推理方案，基于 vLLM 提供补丁、重新量化流程与基准测试。
蜡笔猫导航蜡笔猫导航
