adtop
首页 财经 查看内容

腾讯发布新一代超强算力集群:面向大模型训练,性能提升3倍

2023-04-14 12:37| 发布者: 杜玉梅| 查看: 61212| 评论: 0|来自: IT之家  阅读量:18233   

摘要:感谢IT之家网友航空先生、肖战割割的线索投递! ,IT之家从腾讯官方获悉,腾讯云发布了新一代HCC高性能计算集群,采用最新一代星星海自研服务器,搭载英伟达H800TensorCoreGPU。 腾讯官方称,该集群基于自...

感谢IT之家网友 航空先生、肖战割割 的线索投递!

,IT之家从腾讯官方获悉,腾讯云发布了新一代 HCC 高性能计算集群,采用最新一代星星海自研服务器,搭载英伟达 H800 Tensor Core GPU。

腾讯官方称,该集群基于自研网络、存储架构,带来 3.2T 超高互联带宽、TB 级吞吐能力和千万级 IOPS。实测结果显示,新一代集群算力性能较前代提升 3 倍。

去年 10 月,腾讯完成首个万亿参数的 AI 大模型 —— 混元 NLP 大模型训练。在同等数据集下,将训练时间由 50 天缩短到 11 天。如果基于新一代集群,训练时间将进一步缩短至 4 天。

计算层面,服务器单机性能是集群算力的基础,腾讯云新一代集群的单 GPU 卡在不同精度下,支持输出最高 1979 TFlops 的算力。

针对大模型场景,星星海自研服务器采用 6U 超高密度设计,相较行业可支持的上架密度提高 30%;利用并行计算理念,通过 CPU 和 GPU 节点的一体化设计,将单点算力性能提升至更高。

网络层面,计算节点间,存在着海量的数据交互需求。随着集群规模扩大,通信性能会直接影响训练效率,需要实现网络和计算节点的最大协同。

腾讯自研的星脉高性能计算网络,号称具备业界最高的 3.2T RDMA 通信带宽。实测结果显示,搭载同等数量的 GPU,3.2T 星脉网络相较 1.6T 网络,集群整体算力提升 20%。

同时,腾讯自研的高性能集合通信库 TCCL,融入定制设计的解决方案。相对业界开源集合通信库,为大模型训练优化 40% 负载性能,消除多个网络原因导致的训练中断问题。

存储层面,大模型训练中,大量计算节点会同时读取一批数据集,需要尽可能缩短数据加载时长,避免计算节点产生等待。

腾讯云自研的存储架构,具备 TB 级吞吐能力和千万级 IOPS,支持不同场景下对存储的需求。COS+GooseFS 对象存储方案和 CFS Turbo 高性能文件存储方案,充分满足大模型场景下高性能、大吞吐和海量存储要求。

此外,新一代集群集成了腾讯云自研的 TACO 训练加速引擎,对网络协议、通信策略、AI 框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。

腾讯混元大模型背后的训练框架 AngelPTM,也已通过腾讯云 TACO 提供服务,帮助企业加速大模型落地。

通过腾讯云 TI 平台的大模型能力和工具箱,企业可结合产业场景数据进行精调训练,提升生产效率、快速创建和部署 AI 应用。

依托分布式云原生的治理能力,腾讯云智算平台提供 16 EFLOPS 的浮点算力。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

分享至:
| 收藏

相关

  • iOS17前最后的修补,苹果已开始为iPhone测试iOS16.6系统
  • ,根据外媒MacRumors的分析日志,苹果已开始在内部测试iOS16.6,这被证明是即将推出的软件更新的可靠指标。iOS16.6可能是iOS16软件周期中的最后更新之一。 目前尚不清楚iOS16.6的第一个测试版何时...
  • 企业家在线 发布于  2023-04-14 10:45  
  • 2022年人口版图:广东“最敢生”浙江“吸力强”
  • 各省份2022年人口数据陆续披露。 尽管广东常住人口出现下降,但其仍然是第一人口大省,而且出生人口最多,被称为“最敢生”的省份。从常住人口增量来看,浙江依然最多,其对人才的“磁吸力”与日俱增。超过一半的省份人口还是正增...
  • 企业家在线 发布于  2023-04-14 09:09  
  • 亚马逊为CEO薪酬2.12亿美元股票奖励辩护,称不设置短期绩效
  • 北京时间4月14日早间消息,亚马逊薪酬委员为亚马逊的支付行为进行辩护,并拒绝了股东关于为股票奖励设置绩效基准的建议。 亚马逊在最近的代理声明中表示,股东对于CEO贾西和其他高管近几年获得的股票奖励规模和行权计划越发担忧...
  • 企业家在线 发布于  2023-04-14 08:02  
  • 大华银行料香港今年经济增长4%
  • :4月13日,大华银行大中华区环球金融主管李国基表示,有鉴于特区政府的财政支援及与内地全面通关,目前预期香港经济在今年增长4%,处于政府官方的3.5%至5.5%预测范围之内。 他称,预期季度本地生产总值增长会在年内加快...
  • 企业家在线 发布于  2023-04-13 16:53  

企业家在线© 2012-   X3.4