蜡笔猫导航

LlamaFactory

开源的大模型微调框架,用统一流程支持 100 多个语言模型与视觉语言模型的训练与适配。

GitHub 开源项目免费Python多模态开源开源模型微调训练框架
LlamaFactory 官网预览

它能做什么

  • 统一流程支持 100 多个 LLM 与 VLM 的微调训练
  • 覆盖 LoRA、指令微调等高效适配方式
  • 支持 llama、llama3、gemma、deepseek 等主流模型系列
  • Apache-2.0 许可,可自行部署到本地环境

适合谁

  • 有 GPU 的开发者给开源模型做领域适配
  • 研究者复现或对比不同模型的微调效果
  • 团队基于开源权重定制自有模型

详细介绍

LlamaFactory 是一个用 Python 编写、采用 Apache-2.0 许可的开源微调框架,目标是让 100 多个大语言模型与视觉语言模型共用同一套训练流程,省去为每个模型单独编写脚本的麻烦。它适合手上有 GPU、希望在自己环境中做领域适配或指令微调的开发者与研究者。

它的核心能力集中在高效微调与指令微调:仓库主题涵盖 fine-tuning、instruction-tuning、LoRA,以及 llama、llama3、gemma、deepseek 等模型系列,说明它主要覆盖主流开源模型的训练与适配场景;相关工作发表于 ACL 2024。

使用方式为本地部署的 Python 项目,需要按官方文档自行准备运行环境、模型与数据后再开始训练;具体安装与启动方式以官方文档为准,本条未提供可直接复制的命令。