蜡笔猫导航
它能做什么
- 内置 Vicuna、MT-Bench 等模型的训练与评测代码
- 分布式多模型服务系统，自带 Web 聊天界面
- 提供兼容 OpenAI 的 RESTful API 接口
- 命令行推理支持多卡并行、纯 CPU 与 Mac Metal 加速
- 支撑 Chatbot Arena，已服务 70+ 模型超千万次对话
适合谁
- 想在自己的机器上试跑 Vicuna 等开源模型的开发者
- 需要统一对外提供多模型服务并复用 OpenAI 接口的团队
- 研究对话模型评测与微调、想用 MT-Bench 做对比的实验者
快速上手
pip3 install "fschat[model_worker,webui]"
python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5详细介绍
由 LMSYS 团队开发，支撑了著名的大模型竞技场（Chatbot Arena），包含完备的微调、分布式评测与 Web 演示流程。
