发现资源

litellm

一个统一接入 100+ LLM API 的开源网关，用 OpenAI 兼容格式调用，并附带成本追踪、日志与负载均衡能力。

Groq

基于自研 LPU 架构的超高速模型推理服务，实现数百 Token/s 的响应。