阿里云发布飞天智算平台, AI 训练效率提升 11 倍

慧聪通信网 2022-08-31 09:35 来源:拉风的极客

阿里云发布飞天智算平台, AI 训练效率提升 11 倍


【慧聪通信网】8 月 30 日,阿里云宣布正式推出全栈智能计算解决方案「飞天智算平台」,并启动两座超大规模智算中心,以公共云和专有云两种模式,为各类科研、公共服务和企业机构提供强大的智能计算服务,可将计算资源利用率提高 3 倍以上,AI 训练效率提升 11 倍,推理效率提升 6 倍。

飞天智算平台已在阿里内部广泛应用,支撑达摩院前沿 AI 和电商智能技术发展,并服务了小鹏汽车、深势科技、上汽集团、中国气象局、南方电网等机构和企业,支撑自动驾驶、新药研发、气象预测、工业能源等行业大幅提升 AI 训练效率。

阿里云发布飞天智算平台, AI 训练效率提升 11 倍

据了解,该平台提供基于阿里云磐久基础设施的融合算力和大数据 AI 一体化平台整体解决方案,可以运行在 X86、GPU、ARM 等多种芯片类型的服务器上,实现「一云多芯」,并以最高 10 倍 IO 优化和 5 倍通信性能优化,实现 90% 的千卡并行计算效率。

绿色技术方面,飞天智算在技术减排、能源结构优化、区域布局优化、供应链减碳以及资源利用优化五个方面来降低单位算力的碳排放。在技术减排方面,通过液冷、电源技术以及智能运维等方式降低能耗,PUE 最低可达 1.09。

同时,开发人员可以在平台上进行数据存储、数据治理、数据分析、模型开发、模型训练与推理的工作。并提供了预训练模型,以及语音,图像、自然语言处理、决策等领域的模型能力,以方便开发者更好的加速 AI 应用的开发。

目前,该平台正在支撑建设两座超大规模智算中心。其中,张北智算中心建设规模为 12 EFLOPS(每秒 1200 亿亿次浮点运算)AI 算力,将超过谷歌的 9 EFLOPS 和特斯拉的 1.8 EFLOPS,成为全球最大的智算中心。乌兰察布智算中心建设规模为 3 EFLOPS(每秒 300 亿亿次浮点运算)AI 算力,位于「东数西算」内蒙古枢纽节点。

阿里云智能全球销售总裁蔡英华表示,智算不仅在于规模大,更是需要绿色、高效并且具备产业实践。计算是一个庞大的复杂系统,没有体系化的核心技术能力,堆硬件是堆不出算力的,更无法带来实际的产业价值。

据了解,智能计算不同于通用型计算,需要海量数据对 AI 模式进行训练,算力被损耗在数据迁移、同步等环节,千卡以上规模的算力输出最低往往仅有 40% 左右。这导致了智能算力成本高昂,制约了产业发展。阿里云通过体系化的技术创新,改变了智能计算的损耗难题,将千卡并行计算效率提升至 90% 以上。

例如,在通信技术上,阿里云采用高性能自研 Solar-RDMA 网络,实现端对端最低 2 微秒延迟,配合阿里云自研的无阻塞通信技术,让计算过程中的数据交换速度最高提升 5 倍。同时,自然风冷、液冷等绿色技术的应用,让智算中心的能耗降低,PUE 最低可达 1.09。

阿里云发布飞天智算平台, AI 训练效率提升 11 倍

在 AI 开发层,阿里云提供大数据+AI 一体化平台支撑开发与运维全流程。尤其在模型训练环节,提供分布式训练框架,可以对分布式策略进行自动组合和调优,将训练效率提升了 11 倍以上。此外,阿里云为用户提供了一站式的通用推理优化工具,对算法模型进行量化、剪枝、稀疏化、蒸馏等操作,可将推理效率提升 6 倍以上。

不久前,小鹏汽车基于飞天智算在乌兰察布建设智算中心「扶摇」,算力规模达 600PFLOPS,是国内最大的自动驾驶智算中心,将自动驾驶模型训练提速近 170 倍。毫末汽车基于飞天智算,实现 128 卡并行效率超 96%,使自动驾驶模型训练成本降低 62%,训练速度提升 110%,让模型迭代周期大幅缩短。

在生命科学领域,深势科技采用飞天智算平台之后,将集群性能优化提升超过 100%,让分子动力学仿真模拟训练效率提升了 5 倍。在工业领域,智己汽车运用高性能计算将工业仿真的效率提升了 25%,智能驾驶训练效率提升了 70%,加速了新车型的研发上市。山东德州电力通过 AI 进行复核预测,准确率达到了 98%,耗时从 1 小时缩短至几分钟。

在城市治理领域,四川成宜高速通过数字孪生进行车路协同优化使事故率降低 60%。重庆水务通过遥感数据与仿真推演实现水利调度预测准确性高达 95%;南方电网与中国气象局利用智算能力提升气象预报的准确性与稳定性。

此外,飞天智算还支撑了阿里巴巴的人工智能实践,支撑阿里 AI 日均 1 万亿次调用,服务全球 10 亿人。其中,拍立淘训练速度提升了 200 倍,10 亿张图片全量训练时间从 2.5 个月缩短到 8 小时。达摩院大模型 M6 仅使用 512 张 GPU,在 10 天内就完成了 10 万亿参数模型训练,能耗仅为 GPT-3 在同等参数规模下的 1%。

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。