来自28亿美元估值的超级独角兽Groq的AI芯片，让LLM推理快到飞起
成立于2016年，以快著称的美国人工智能芯片独角兽Groq，2024年8月5日官宣融资6.4亿美元（截止到当前最新一轮融资）。Groq的语言处理单元（LPU, Language Processing Unit）专为AI推理和语言处理而设计，是应时而生、实现AI超快推理的核心技术。
·
公司简介
成立于2016年，以快著称的美国人工智能芯片独角兽Groq，2024年8月5日官宣融资6.4亿美元（截止到当前最新一轮融资）。
Groq的语言处理单元（LPU, Language Processing Unit）专为AI推理和语言处理而设计，是应时而生、实现AI超快推理的核心技术。
到底有多快？
相较于英伟达GPU提高十倍，且和其他加速推理平台相比也是遥遥领先。
如何体验？
两种最直接的方式。
一、直接访问官网
进入 官网 首页，选择模型进行问答。
比如选择 Llama-3.3-70b-Specdec 该模型，提问 What is AI inference，回答速度可以高达 1.6k tokens/s。
二、groqcloud
进入 groqcloud，右上角下拉框选择模型，右侧还可以对temperature以及Top P等超参进行调整。
选择模型后提问，LLM推理结束后会有 Speed Insights 信息显示，可以看到衡量推理效率的各项指标在本次问答中的数值结果。
推荐阅读
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
6
0- 0
已为社区贡献2条内容
所有评论(0)