在近日举行的英特尔on产业创新大会上，英特尔发布了Gaudi 3 AI加速器，以高性能、开放性和灵活性助力企业推进生成式AI创新。

企业希望将生成式AI从试验阶段扩展到应用阶段。因此，他们需要基于诸如英特尔Gaudi 3 AI加速器这样的高性能、经济实用、节能的处理器所打造的可快速部署的解决方案。并且，Gaudi 3还能满足复杂性、成本效益、碎片化、数据可靠性和合规性等需求。

英特尔Gaudi 3 AI加速器将为AI系统提供动力，该AI系统可通过以太网的通用标准连接多达数万个加速器。与上一代产品相比，英特尔Gaudi 3将带来4倍的BF16AI计算能力提升以及1.5倍的内存带宽提升。该加速器将为寻求大规模部署生成式AI的企业带来AI训练和推理方面的飞跃。

英特尔Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型以及1750亿参数GPT-3模型的训练时间。此外，其在Llama 7B、70B和Falcon 180B大型语言模型的推理吞吐量和能效方面也展现了出色性能。

英特尔Gaudi 3提供开放的、基于社区的软件和行业标准以太网，允许企业灵活地从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群，支持大规模的推理、微调和训练。

英特尔首席执行官帕特·基辛格表示，创新技术正在以前所未有的速度发展，每家公司都在加速成为AI公司，这一切都需要半导体技术提供支持。英特尔最新的Gaudi、至强和酷睿平台将提供灵活的、可定制化的解决方案，满足客户和合作伙伴不断变化的需求，把握住未来的巨大机遇。

据悉，英特尔Gaudi 3将于2024年第二季度面向OEM厂商出货。