加载中…
一个用纯 C99 从零编写的 LLM 推理实现,目标是在只有 CPU、没有 GPU 的普通机器上跑起 Kimi K3,并尽量压低内存占用。
面向自有消费级 GPU 的 Qwen 大模型高速推理方案,基于 vLLM 提供补丁、重新量化流程与基准测试。