欢迎您访问福建众创高电气设备有限公司网站

公司简介 联系我们 网站地图

欢迎来电咨询

15359273790

新闻资讯

全国服务热线

15359273790

技术过硬,据实报价

行业动态

当前位置: 众创高工业 > 新闻资讯 > 行业动态

3.9 分钟训完 GPT-3,英伟达 H100 再次刷新 MLPerf 六项纪录

2023-11-10 10:10 已有人浏览 作者

IT之家 11 月 9 日消息,英伟达今天发布新闻稿,表示旗下的 H100 GPU 在 MLPerf 基准测试中创造了 6 项新记录。

3.9 分钟训完 GPT-3,英伟达 H100 再次刷新 MLPerf 六项纪录(1)

IT之家今年 6 月报道,3584 个 H100 GPU 群在短短 11 分钟内完成了基于 GPT-3 的大规模基准测试。

MLPerf LLM 基准测试是基于 OpenAI 的 GPT-3 模型进行的,包含 1750 亿个参数。

Lambda Labs 估计,训练这样一个大模型需要大约 3.14E23 FLOPS 的计算量。

3.9 分钟训完 GPT-3,英伟达 H100 再次刷新 MLPerf 六项纪录(2)

3.9 分钟训完 GPT-3,英伟达 H100 再次刷新 MLPerf 六项纪录(3)

3.9 分钟训完 GPT-3,英伟达 H100 再次刷新 MLPerf 六项纪录(4)

英伟达最新的 Eos AI 超级计算机配备了 10752 个 H100 Tensor Core GPU 和 NVIDIA 的 Quantum-2 InfiniBand 网络,训练完 GPT-3 仅仅只需要 3.9 分钟,比 6 月的测试结果整整快了 7 分钟。

英伟达在帖中,的另一项创纪录的成就是在“系统扩展”方面取得的进步,通过各种软件优化,效率提高到了 93%。

3.9 分钟训完 GPT-3,英伟达 H100 再次刷新 MLPerf 六项纪录(5)

高效扩展在行业中非常重要,因为实现高计算能力需要使用更多的硬件资源,如果没有足够的软件支持,系统的效率会受到大幅影响。

与3.9 分钟训完 GPT-3,英伟达 H100 再次刷新 MLPerf 六项纪录相关的其他内容