kimi-k3-in-c

一个用纯 C99 从零编写的 LLM 推理实现，目标是在只有 CPU、没有 GPU 的普通机器上跑起 Kimi K3，并尽量压低内存占用。

本地模型与推理免费CPU推理开源推理加速本地私有本地运行

GitHub更新于 2026-10-29

它能做什么

这是一个以 C99 从零实现的推理引擎仓库，不依赖 BLAS、深度学习框架或 GPU，走的是纯 CPU 推理路线。作者称它能在约 8.24 GB 内存的单颗 CPU 上运行参数规模达万亿级的 Kimi K3 模型，仓库中还涉及线性注意力等组件的自行实现。

它更适合想看「大模型推理引擎到底怎么写的」的开发者：代码为 C 语言、无重型依赖，便于阅读、编译和改造，也适合在缺少显卡的机器上做实验。项目以 Apache-2.0 许可开源，可自行部署与修改。

使用方式上，需要自行从 GitHub 拉取源码并按仓库说明编译运行；具体命令与模型准备步骤请以仓库文档为准，本条未做验证。关于超大参数模型能在如此内存下运行的说法来自项目自述，实际效果建议自行复现确认。