Groq技术新突破：Mixtral 8x7B模型实现每秒500个tokens的生成速度

今天看到的最火的AI产品就是Groq。

多神奇，强烈建议先登录Groq官网，问个问题。

472的T/s什么概念，就是目前最强。

Groq 之所以运行速度极快，是因为他们自主设计了一种专门的硬件——LPU（语言处理单元），以及用来对这种硬件进行编程的编译器工具链。

Groq 正在努力成为通用人工智能 (GenAI) 推理速度的领先标准，致力于让实时 AI 应用在当下世界快速成型并投入使用。

Groq是一家专注于开发人工智能（AI）芯片的公司，由前谷歌员工Jonathan Ross 创立。

Jonathan曾是谷歌TPU的核心团队成员。TPU是谷歌专为AI计算设计的处理器，旨在优化机器学习算法中常见的张量运算执行过程，提高速度和能效。

Jonathan 在2016年离开谷歌，创立了Groq。Groq的关键成员也曾参与TPU的开发。

有网友这样评价Groq

Groq提供3种模型的API

我将GPT-3.5的价格和Groq的Mixtral 8x7B SMoE对比，后者要便宜很多。

除了在Groq官网体验，Groq支持API接入，10天免费试用。

还可以在Poe上体验Groq

Groq生成速度快，我认为一是可以应用在快速翻译，二是可以实现实时AI对话。

之前我在OpenAI API 文字转语音本地运行程序分享文章里分享了将文字转语音的过程，实际使用过程中，直接将文字通过API生成语音是非常快的。

Groq的合作伙伴里的Vapi引起了我的注意。

Vapi 是一个用于快速构建、测试和部署语音机器人的平台，整个过程仅需几分钟，而非传统的数月时间。

还有博主迅速使用Groq做了个闪电般快速的 AI 答案引擎。

试了下，效果不错。

最后值得一提的亮点是，Groq公司公开了详尽的技术文档，便于用户深入理解其产品与技术。

精选历史文章，请看这里：

CrewAI：适用本地大模型AI自动化协作框架

探索新Ollama Python库：在应用程序中集成本地LLM

Open Interpreter：自然语言界面控制计算机 | 分享使用体验

用 Poe-API-wrapper 连接 DALLE、ChatGPT，批量完成AI绘图或文字创作