算力不够,算法来凑?|AI之声
以ChatGPT为代表的的新兴AI应用带动了算力需求“爆发式”增长,算力短缺的矛盾也变得越发突出。
(相关资料图)
在2023世界人工智能大会期间,算力成为了不少从业者热议的话题。
在WAIC现场,第一财经记者走访看到,围绕着服务器的展台,参访嘉宾们试着拉出板卡,或者隔着罩子询问“这块是不是国产的?”
“服务器订单排到了几个月之后,今年的单子确实不愁了。”一位服务器厂商告诉第一财经,甚至公司的路演活动都新增了“人气”。
算力向下扎根于数据,向上支撑着算法,是驱动 AGI发展的核心动力之一。今日毕马威与联想集团联合发布的《普慧算力开启新计算时代》报告(下文简称“报告”)测算,预计到2025年,我国算力核心产业规模将不低于4.4万亿元,算力关联产业规模可达24万亿元,算力有望崛起为国家数字经济蓝图中继电子信息制造业和软件业之后的又一超级赛道。
从业者迫切需要算力
放眼全球,算力已成为各国科技战略布局重点。报告显示,当前,美、中、欧、日基本稳居全球算力产业规模前四,美、中两国处在领先地位,各国算力投资或补贴计划均超千亿。
此外,对比中美两国细分算力规模来看,中国的智能算力规模已经超过美国60%,这主要得益于人工智能模型训练算力需求快速增长,中国不断加快以智能计算中心为代表的智能算力基础设施建设。公开资料显示,截至2023年2月,中国投入运营和在建的人工智能计算中心已达23个。结合IDC预测来看,2021-2026年中国智能算力规模年复合增长率有望达到523%。
即便规模如此巨大,大模型火了之后,依然难以满足国内对算力的需求。
深度学习出现之前,用于AI训练的算力增长大约每20个月翻一番,基本符合摩尔定律;深度学习出现之后,用于AI训练的算力大约每6个月翻一番;2012年后,全球头部AI模型训练算力需求更是加速到每3-4个月翻一番,即平均每年算力增长幅度达到惊人的10倍:目前大模型发展如火如荼,训练算力需求有望扩张到原来的10到100倍,算力需求的指数级增长曲线将更加陡峭。
AI从业者迫切需要算力。
一位大模型从业者告诉记者,英伟达A100芯片的价格已经从原来的6万元左右一路涨至12万元。
AMD全球副总裁唐晓蕾此前接受第一财经采访时说:“我相信对计算能力的需求,将会是未来十年对所有人的挑战。”
还有从业者称,中国目前在追赶 GPT3.5的团队在10个左右,算力将在未来赢家和产业发展格局的形成中起到关键作用。
“算力供给增速明显难以满足指数式爆发的需求,储备算力成为各行各业的必要举动。” 毕马威中国数字化赋能主管合伙人张庆杰今日对媒体表示。
如何打破算力瓶颈,业界正在努力。例如在世界人工智能大会上,华为轮值董事长胡厚崑就谈道,华为的算力基础设施构建正在加速,例如,华为最大的AI计算集群在深圳“鹏城云脑”二期,算力是1000P规模,2024年三期会达到16000P规模水平。而联想集团副总裁陈振宽表示,大模型训练对于算力的要求极高,算力需求也因此开始迸发式增长,联想集团ISG全球AI基础设施业务未来三年将追加投资10亿美元,加速全球企业的AI部署。
不过,算力不仅面临供需失衡的问题,同时也意味着巨大的成本投入。以构建GPT-3为例,OpenAl数据显示,满足GPT3算力需求至少要上万颗英伟达GPUA100,一次模型训练总算力消耗约3.640PF-davs(即每秒一千万亿次计算,运行3.640天),成本超过1200万美元,这还不包括模型推理成本和后续升级所需的训练成本。
毕马威在报告中还指出算力发展面临着巨大的挑战,体现为传统计算架构缺乏并行管理架构、效率低、能耗高,已然无法适应爆发式增长的算力需求和愈发复杂的计算任务。
尤其在实际商业环境中,大部分企业选择根据业务场景、数据类型、支出成本选择合适的计算架构,如何就新型计算架构的技术路线、标准体系达成行业共识成为必答题。
算力紧缺不能“治标不治本”
“在算力供不应求的现实情况下,传统计算架构正失去竞争力,必须探索新的计算模式。” 毕马威首席经济学家康勇表示,当前算力正由终端计算等需求驱动的“被动式”发展,转向促进AI大模型训练、实现通用人工智能、超越经典计算等代表的“主动式”发展。新硬件、新架构竞相涌现,现有芯片、操作系统、应用软件等都可能被推翻重来。
尽管各行业的算力需求各有千秋,但落脚点均在“普慧”。报告预计,未来算力发展趋势将具备两大特征:数字经济的基础设施和通用人工智能的核心动力。因此,算力将在两个关键维度上加速发展:普适(Inclusive)与智慧(Intelligent)。
普慧算力意味着,算力要成为像电力一样的公共资源,本质上是站在使用者的角度上,让算力更好用。
在普适方面,科技巨头不断加码算力进行大模型训练的同时,大量中小型企业因资金和技术限制被拦在门槛之外,但业界预计,在大模型走向场景化、实用化的过程中,将会形成“大模型+小模型”的产业生态,即大型企业负责搭建底层通用大模型,中小型企业在大模型的基础上搭建面向特定任务场景的小模型,相较大模型而言,小模型训练的资金投入更低,因此,服务此类企业小模型训练需求的算力增量仍然可观。
阿里云全球商业副总裁黄海清在世界人工智能大会上提到了让算力更普惠的话题,他认为,智算中心并不是简单把配置先进制程芯片的服务器连接起来就能实现高性能算力,一个很关键的指标就是如何降低算力的损耗。
张庆杰则认为,想要破解算力的结构性短缺困局,不能目光短浅,需要从算力、算法和数据三个方面进行相应的提升和优化。
“需求大是真的,但还有一种可能是在算法领域,算法不够优化,带给算力的压力就更大。还有数据清洗及其标签的质量也非常重要,百万级参数训练出来未必比千万级或者上亿级的训练效果差。”
而从算力的布局来考虑,张庆杰认为在区域和行业上不尽相同”。在他看来,制造行业有望成为“普慧”算力最大的潜在市场。
他以冠捷科技为例,该公司想要推进智能化质检取代传统人力质检,但AI质检模型训练需要大量生产现场数据,还需要融合大量从业人员的知识经验,以及要补充边缘算力等。联想在提供边缘硬件设备的基础上,为冠捷科技提供了机器视觉算法和Edge AI小样本算法,并将自适应技术加入算法中,对不良风险进行分析、预测预警、回溯,通过软硬件一体化的解决方案,底层算力得以更加动态精准地满足场景化需求。
“无论是从普适性,还是智能化发展的需求和速度上,制造业是排在第一位的。对于算力的服务商来说,在接下来的3-5年里重点去瞄着制造业未来可期。”张庆杰说。
除了制造业之外,他还指出,汽车有望成为下一代移动智能计算终端,软件定义汽车的发展趋势要求算力实现智能升级;金融行业则要求接入广泛且灵活的安全算力;至于医疗和教育的算力需求,当前还在酝酿阶段,当“普慧”算力降本后有望迎来爆发。