AI算力需求飙升功耗也猛增,数据中心该如何降温——戴尔科技携手英特尔共建绿色数据中心破解能效难题

2024-04-16 14:29:32   来源:今日热点网

“AI的尽头是光伏和储能”,相信很多人对这句话并不陌生。这句话非常形象地说明了AI对电力的高依赖和高消耗,言简意赅,在业界广为流传。

近两年以大模型为代表的人工智能非常火,引发了大模型投资热,企业纷纷投入巨资开始训练大模型和部署各种人工智能应用。然而,不少企业突然发现电出问题了,要么数据中心的电力不够,要么机房温度降不下来,或者用电成本太高账单吓人,严重的甚至直接影响数据中心正常运营,波及企业的数字化化转型战略的落实。为了破解这些难题,不少企业走上绿色数据中心的构建之路。

大模型的背后是对电力的高消耗

2022年年底,ChatGPT一炮走红。ChatGPT表现出来的强大的内容生成能力让人惊讶,但很多人不了解的是,这些能力是建立在大量数据的训练之上,需要消耗大量的电力。

斯坦福人工智能研究所发布的《2023年人工智能指数报告》显示,1750亿参数的GPT-3在训练阶段的耗电量高达1287兆瓦时。随着模型参数的不断增加以及模型从单模态向多模态发展,耗电量还将进一步提升。

大模型不只是在训练阶段费电,推理阶段同样也相当费电。根据专家对ChatGPT的研究,每当ChatGPT试图响应一次提问,它需要消耗2.9瓦时的电量。ChatGPT平均每天需要处理约2亿个来自用户的对话请求,这意味着它单日消耗的电量就要超过564兆瓦时,相当于1.7万个美国家庭一天的用电量。

ChatGPT是通用大模型的一个代表,其他大模型的耗电情况大体类似。随着大模型的流行,AI工作负载功耗占比正在快速提升。根据施耐德电气的一份关于2024数据中心行业的研究报告,AI类工作负载功耗2023 年只占到8%,而到 2028 年会占15%-20%,总能耗预计会到 15GW,相当于十三峡水电站的总装机容量 22.5GW的70%。

通用大模型之所以费电,一个重要原因是它的训练和推理都需要大量GPU,今天GPU集群越来越大,万卡甚至10万卡也不稀奇,而GPU随着性能的不断提升功耗会不断上升,正在从目前的350瓦向1000瓦迈进,英伟达新发布的最新GPU GB200已经突破了1000瓦。当然,不只是GPU,CPU的功耗也在上升,正在突破500瓦。

CPU、GPU功耗的不断上升迫使企业越来越关注AI架构的优化,要把数千甚至上万张CPU、GPU卡互联,让它们高效访问所需要的数据,完成工作,对系统架构设计提出了很高的要求。

“一个设计良好的AI架构的确能大大提高整个设备的能效,这些年戴尔科技一直在做的事情。”戴尔科技集团大中华区网络和第三方产品事业部虞颂峰介绍,戴尔科技的能力也得到了市场研究机构的认可,Forrester在 2024 年Q1 的《AI 基础设施解决方案》报告中将戴尔科技列入 AI 基础架构解决方案领导者。

传统风冷不行,液冷势在必行

AI负载的高电耗可能让原来数据中心设计的电力不够用,甚至外围供电不足,迫使人们需要寻找更多能源,比如引入清洁能源、核能等。而另一个后果就是不得不关注绿色数据中心的建设,关注机房内部致冷问题。

通常数据中心中部署有大量IT设备,如服务器、存储和交换机等,以及空调等附加设备,这些设备运行需要散发大量的热,必须及时带走,否则会因过高的温度会导致设备损坏,系统宕机。传统数据中心致冷方式是以风冷为主,老旧机架设计功率不超过10kw左右。然而,今天一台配置多GPU卡的AI服务器单台功率就可能突破10kw,传统风冷技术很难解决其散热问题,不得已人们开始选择液冷技术。

“为了满足 AI 的应用,实现可持续、低碳、节能和环保的绿色数据中心,从目前的技术手段来看,液冷是最佳的选择。”虞颂峰表示。

液冷解决方案的普及除了要解决机房温度过高或者局部热点问题这些内因之外,还有非常重要的一个驱动因素是国家政策。近几年国家在大力推动节能环保,一直在限制高能耗数据中心。比如,北京要求新建数据中心PUE值低于1.4,上海、深圳要求低于1.3。高PUE值意味着高能耗,特别是对于一些大型和超大型数据中心,其用电量大,降低运营成本和符合国产政策的要求双重因素驱动下,对液冷技术积极性很高。

各种利好之下,液冷市场增长很快。根据IDC发布的《中国半年度液冷服务器市场(2023上半年)跟踪》报告,2023上半年中国液冷服务器市场规模达到6.6亿美元,同比增长283.3%,预计2023年全年将达到15.1亿美元。IDC预计,2022-2027年,中国液冷服务器市场年复合增长率将达到54.7%,2027年市场规模将达到89亿美元。

目前市场上主要有两类主流液冷技术。一类是冷板式液冷,液体不直接接触IT部件,通过液体在密闭的导管流经服务器内部的散热冷盘将热量带走。另一个是浸没式液冷,就是直接把整台服务器泡在特殊液体中,通过与液体进行热交换来带走热量。

一些领先的服务器厂商已经推出了自己的液冷服务器产品。虞颂峰介绍,戴尔科技通过与合作伙伴合作提供三种液冷解决方案,既有冷板式液冷也有浸没式液冷,可以满足不同客户的需求。

DIY 冷板式液冷方案:方案采用戴尔科技的标准液冷服务器,配置 CoolIT 冷盘,加上第三方(绿色云图和维谛)的CDU 和液冷机柜,在客户现场组装完成整套液冷方案交付。

标准的整机柜交付冷板液冷方案:戴尔在工厂预安装液冷服务器和CoolIT的机柜、分水器,直接交付给客户。

浸没式液冷方案:采用的是经过戴尔科技验证的绿色云图的浸没式液冷解决方案,由绿色云图提供整合服务,适用于边缘应用、静音要求极高或者是极致PUE等应用场景。

高效节能需要整体优化设计

当然,要建成一个绿色数据中心光有液冷技术远远不够。绿色数据中心的建设应该从最开始的设计、规划就开始,一直到机房设备部署、冷却系统的部署,还要选择高效节能IT组件以及精细化的管理和运维等。

以系统的管理和监控为例,可以通过电源管理器实时监控并控制服务器的整体功耗和服务器的 CPU 负载情况实现风扇的动态调节,来有效降低数据中心的能耗。

F5公司解决方案顾问王志博透露,F5公司的产品落地场景中就有不少用来汇集各种IT设备运行状况,借助F5的产品采集数据,然后进行大数据分析和呈现,从而帮助管理者更好地管理这些设备,提高设备运营能效。

值得一提的是,并非只有新建数据中心才能谈绿色节能,对于现有的数据中心也可以通过改造来提高能效。比如,通过模块化的数据中心实现冷热通道的隔离,通过后门热交换提高热交换效率,通过优化传统数据中心最多可以实现PUE1.2 左右。
 

采用高能效的新一代产品也是一种有效的节能方法。英特尔中国可持续发展项目组负责人彭振飞介绍,采用英特尔最新的第五代至强可扩展处理器,通过选择电源优化模式就可以在30-40%工作负载时轻松实现110瓦的能耗降低。英特尔即将正式发布的至强6在能效上表现更为优秀,至强6 Sierra Forest首次采用纯能效核(E核)设计,可以带来2.4倍的能效提升,机架密度则可以提高2.7倍。这意味着在相同的空间里能提供更高的算力,并且是更高能效的算力。

为了帮助企业构建绿色数据中心,英特尔还推出了绿色数据中心技术框架2.0,这是一个参考设计,它从XPU层、服务器层、机架层和数据中心层分别提出了合理实现节能减碳的技术路径,一共提出了13种让数据中心更绿色的技术能力和方案。

“这是一个框架,目的是希望通过高能效产品和技术的使用,通过液冷,通过更高能效的处理器等IT组件结合,实现高能效的计算,构建更绿色的数据中心。”彭振飞说。

结束语

当下在AI应用热潮的推动下,算力需求井喷。数据中心作为承载AI应用的关键,在满足算力需求的同时面临能效问题的挑战,这使得数据中心的绿色低碳和可持续发展成为刚需。

液冷技术在政策、技术与经济三大因素的共同推动下成为绿色数据中心建设的重要技术之一,正在快速替代风冷技术发展成为市场主流。面对这个新兴市场,有着丰富的技术积淀和对产业了解的戴尔、英特尔等巨头的加入无疑会大大推动液冷技术的进步,加速绿色数据中心在中国市场的落地步伐,最终为我国数字经济的高质量发展提供更为强大的核心驱动力。

 

标签:

相关阅读

AI算力需求飙升功耗也猛增,数据中心该如何

行业

“AI的尽头是光伏和储能”,相信很多人对这句话并不陌生。这句话非

2024-04-16

朴飞生物PEELSPHERE®达成与全球头部奢品集

行业

以可持续时尚科技材料研产为核心,并为全球各品牌提供可持续时尚整

2024-04-16

车损险的好处有哪些?

行业

车辆是我们日常生活中不可或缺的一部分,然而,在道路上行驶时,难免会面临各种潜在的风险,如交通事故、碰撞、盗窃、自然灾害等。为了更好

2024-04-04

现代(中国)36周年庆&现代京东自营宣

行业

2024年3月28日傍晚17:30许,现代(中国)迎来一年一度周年庆活动,

2024-03-30

淘宝直播产业带新财年服务商大会|百亿流量

行业

01淘宝内容电商宣布重磅投入,产业带发展迈向新阶段3月28日,2024淘

2024-03-29

AI算力需求飙升功耗也猛增,数据中心该如何降温——戴尔科技携手英特尔共建绿色数据中心破解能效难题

行业

“AI的尽头是光伏和储能”,相信很多人对这句话并不陌生。这句话非

2024-04-16

朴飞生物PEELSPHERE®达成与全球头部奢品集团的系列生物皮革采购合作

行业

以可持续时尚科技材料研产为核心,并为全球各品牌提供可持续时尚整

2024-04-16

新能源汽车革命:壹连科技产业链全面升级与IPO上市核心竞争力的交汇点

行业

当我们谈论新能源汽车时,我们不仅是在讨论一种新兴的交通工具,更

2024-04-12

理财用什么软件 来京东金融App 助力财富增值

行业

京东持续对财富管理业务发力,在2023年6月,京东App中植入基金

2024-04-11

车损险的好处有哪些?

行业

车辆是我们日常生活中不可或缺的一部分,然而,在道路上行驶时,难免会面临各种潜在的风险,如交通事故、碰撞、盗窃、自然灾害等。为了更好

2024-04-04

坚定信心走好民营银行高质量发展之路

行业

民营银行作为深化金融改革的重要尝试,受到各方面广泛关注,面临四

2024-04-02

现代(中国)36周年庆&现代京东自营宣传会

行业

2024年3月28日傍晚17:30许,现代(中国)迎来一年一度周年庆活动,

2024-03-30

淘宝直播产业带新财年服务商大会|百亿流量扶持中小商家续写“源头奇迹”

行业

01淘宝内容电商宣布重磅投入,产业带发展迈向新阶段3月28日,2024淘

2024-03-29

苏州协和药业与皮肤学专家共议,引领科学护肤新未来

行业

原标题:苏州协和药业科学技术专家委员会第十五次专家会成功召开当

2024-03-28

官宣!仰韶彩陶坊酒连续十一年荣膺“黄帝故里拜祖大典”供奉用酒!

行业

三月三,拜轩辕。在中国传统文化的传承中,这一敬拜黄帝先祖的节日

2024-03-26

遇见旗袍是于万千人群中的惊鸿一瞥 沿途洒满了爱的芬芳

旗袍,中国和世界华人女性的传统服装,被誉为中国国粹和女性国服。虽然其定义和产生的时间至今还存有诸多争议,但它仍然是中国悠久服饰文化

北京市电影院有序恢复开放 周五预售部分场次已满座

7月21日,北京市政府发布《北京市电影局关于在疫情防控常态化条件下有序推进电影院恢复开放的通知》,宣布全市低风险地区影院,可于7月24日

近期持续强降雨影响 第46届武汉渡江节因长江水位过高取消

武汉7·16渡江节组委会14日发布公告,由于长江武汉关水位超警戒水位,按照规定取消2020年第46届武汉7·16渡江节。受近期持续强降雨影响,

“非遗”普及受众最看重“动手”参观大师工作室非常享受

过去一段时间,国家级非遗项目灰塑传承人邵成村,多次在陈家祠等工作现场,向身边那些带着好奇目光的人们讲解灰塑的种种技术细节:草根灰、

璧山冷酒夜市 丰富市民夜间文旅活动

7月13日,位于璧山区南门唐城夜市街区的璧山冷酒夜市开街。这是璧山区打造夜间经济消费载体、培育夜间经济活动品牌的举措之一。璧山市民一

年内两市超过500家上市公司完成回购 累计回购金额超332亿元

近期A股市场持续震荡,不少上市公司或其重要股东推出回购、增持计划,用真金白银力挺股价。记者根据同花顺数据统计,今年以来,两市超过500

持续发力补链强链加大研发抢占市场 渝企跑出“加速度”

玥湖路渝快电充换电站 一辆新能源汽车,离不开研发、动力、配套等多个环节。作为汽车制造重镇,重庆在这些环节的多个板块上,正在加速奔跑

重启上市公司资本运作 康佳集团去年半导体业务营业收入为3.22亿元

近日,康佳集团正式对外发布2021年年度业绩报告。2021年,康佳集团实现全年营收491 07亿元,归属于母公司的净利润为9 05亿元,同比增长89 5

伟禄集团连续6年增长 去年营收同比增长37.5%

深港通标的之一的深圳企业伟禄集团近日公布2021年业绩。财报数据显示,伟禄集团全年营业收入11 95亿港元,同比增长37 5%,连续6年稳步增长;

龙头企业去年净利倍增 整个行业营收规模有望创造历史新高位

近日,面板龙头TCL科技、京东方分别发布2021年度业绩快报,两家企业去年归属于上市公司股东的净利润分别增长129 3%、412 86%,实现超过百亿

深圳国企全力为市民 守好“菜篮子”“米袋子”保障量足价稳

疫情防控形势下,民生物资供应是否充足成为市民最为关注的问题之一。连日来,深农集团、深粮控股等企业,充分发挥国企担当,全力为深圳市民