litellm

litellm 是一个面向开发者的 LLM 网关，用统一的 OpenAI 兼容接口或各家原生格式调用 Bedrock、Azure OpenAI、OpenAI、Anthropic、VertexAI、vLLM 等 100 多个模型 API。它把多供应商接入、密钥与路由管理集中到一层，减少应用侧反复适配不同 SDK 的工作。

在可观测与成本控制方面，它提供调用成本追踪、请求日志、guardrails 与负载均衡/回退等能力，适合需要看清每个模型调用花了多少钱、走了哪条路由的工程团队。核心用 Rust 实现，同时提供 Python SDK，可自托管部署为团队内部的统一模型入口。

适合正在使用多个模型供应商、希望统一接入层并监控调用与成本的团队，也适合想给现有应用加一层路由与日志的开发者。具体部署方式与配置请参考官方文档。