蜡笔猫导航

Groq

基于自研 LPU 架构的超高速模型推理服务,实现数百 Token/s 的响应。

AI 模型/API免费增值APILPU极速推理
Groq 官网预览

它能做什么

  • 自研 LPU 芯片支撑,实现每秒数百 Token 的超高速输出
  • 为开源模型提供低延迟 API,可直接接入应用
  • 面向高实时性对话与复杂 Agent 任务的推理云
  • LPX 与新一代 GPU 协同,兼顾速度与成本
  • 面向大规模 token 吞吐的一体化推理平台

适合谁

  • 适合做实时语音或聊天产品的团队,追求秒回体验
  • 构建多步工具调用的 Agent 系统,需要低延迟推理
  • 有海量 token 推理需求、希望控制成本的服务方

详细介绍

基于专用芯片的极速推理云,为开源模型提供超低延迟的 API 访问,适合高实时性对话与复杂 Agent 系统。