加载中…
一个用纯 C99 从零编写的 LLM 推理实现,目标是在只有 CPU、没有 GPU 的普通机器上跑起 Kimi K3,并尽量压低内存占用。
一个以端侧 Agent 能力为卖点的开源模型系列,Apache-2.0 许可,可在本地硬件上运行。
面向自有消费级 GPU 的 Qwen 大模型高速推理方案,基于 vLLM 提供补丁、重新量化流程与基准测试。
开源桌面端 AI 聊天客户端,让大模型在本机离线运行,可作为注重隐私的 ChatGPT 替代。
把大模型打包成单个可执行文件,在本地跨平台运行和分发,省去繁琐的环境配置。