蜡笔猫导航Tracely-ai
面向 AI Agent 的追踪原生 CI/CD 工具：评估生产追踪、聚类失败案例，并冻结成可回放的回归测试，阻止有回退的 PR 合并，可自托管。
它能做什么
- 对生产环境中的 Agent 追踪进行评分
- 把失败追踪聚类，便于定位共性问题
- 将失败样本固化为可回放的回归测试
- 在 CI 中拦截导致评测回退的 PR
- 支持自托管，数据留在自有环境
适合谁
- 已上线 Agent、需要持续监控效果回退的团队
- 想把线上失败案例转成回归用例的工程团队
- 在 CI 中加入 Agent 质量门槛的研发流程
详细介绍
Tracely-ai 是一个面向 AI Agent 应用的工程质量工具，重点在于把线上真实运行产生的追踪数据变成可用的评测与回归资产，而不是只做单纯的日志查看。它适合已经在生产环境运行 Agent、需要持续判断改动是否导致效果回退的团队。
核心能力围绕追踪展开：对生产追踪进行评分、把失败样本聚类归类，并将这些失败固化为可重复回放的回归测试；在代码提交环节，它可以拦截会让评测结果变差的 PR。仓库信息显示其使用 Python，采用 MIT 许可证，并支持自托管部署，数据可留在自己的环境中。
使用方式上，需要先把 Agent 运行产生的追踪数据接入，再基于这些数据建立评测与回归用例，最后把检查接入 CI 流程作为合并前的门槛。具体安装命令与配置方式请以仓库文档为准，本条目未做验证。