硅谷之光科技有限公司
硅谷之光科技有限公司

热线电话:

让建站和SEO变得简单

让不懂建站的用户快速建站,让会建站的提高建站效率!

付昊桓教悔: 超智会通赋能地球模拟, 洞见畴昔现象轨迹丨GAIR 2025

发布日期:2026-01-04 12:15    点击次数:92

本次大会为期两天,由GAIR商酌院与雷峰网同一主持,高文院士任指导委员会主席,杨强院士与朱晓蕊教悔任大会主席。

看成AI产学研投界标杆嘉会,GAIR自2016年创办以来,历久信守“传承+调动”内核,是AI学界想想力图的阵脚、期间交流的平台,更是中国AI四十年发展的精神家园。往时四年大模子驱动AI产业加速变革,岁末年头GAIR如约而至,以高质地不雅点碰撞,为行业与民众呈现AI时间的前沿洞见。

本次峰会之上,清华大学深圳国外商酌生院长聘教悔,国度超算深圳中心副主任付昊桓以“超智会通撑捏下的地球系统模式研发”为主题,为参会者们带来了一场精彩纷呈的开场证实。

付昊桓教悔在讲座上共享了超算在地球系统模式研发中的应用、发展历程、后果及濒临的挑战,他认为超算与大模子设备具有许多相似之处,同期在地球系统模式的研发当中,超算还要濒临如何卤莽时空分袂率晋升所带来的算力需求指数级增长,以及如何诓骗AI进一步高效诓骗多源不雅测数据等挑战。

付昊桓教悔先容到,近些年来神威等国产超算系统的性能增长,撑捏了地球系统模式时空分袂率的显赫提高,达成在一公里层级傍边达到一年每天的全球现象模拟速率。

他示意,地球系统模拟不错诓骗超算商酌全球现象变化,以科学模子撑捏防灾减灾,并祈望在畴昔不错作念到数值智能双驱动的大湾区百米级风光预告系统,以百米级的精度构建下一代大湾区风光模子。

终末,付昊桓教悔回来谈:“超算和智算想维肖似,都是聚全力于少量,用最强算力酿成期间的冲破和调动,经由顶用具需最大限制自动化,性能、效力、范围和建壮性不可偏废。”

讲座竣工视频,详见贯穿:https://youtu.be/dw4tRbvoENY

以下是付昊桓的现场演讲内容,雷峰网作了不改变痛快的剪辑及整理:

01|为什么需要用超算模拟地球?

今天相称侥幸参加这次活动。家喻户晓,超算的传统责任是用整台机器的资源来贬责单一中枢问题,而地球系统模拟恰是超算的经典应用之一。为什么要用超算来作念地球模拟?因为科学家无法在真实的地球上进行执行。商酌化学、物理等学科,可在执行室内方便地开展执行,但如若商酌面前备受热心的碳达峰、碳中庸、现象变化,以及畴昔台风是否会加多等地球现象的问题,就必须借助超算构建地球的数字孪生模子来进行执行。因此,基于超算的地球系统模式对于商酌全球现象变化、防灾减灾,乃至可捏续发展都具有进犯兴味兴味。

这也关联到近期备受热心的现象谈判。在多样国外时势,现象变化也已演变为一个政事议题,列国围绕畴昔的碳中庸筹画、如何减排、减排若干等议题进行筹备。此类谈判相通需要模子撑捏。由此可见,地球系统模式在稠密方面发扬着进犯作用。

图中左上角展示的是全球的地球系统模式的比较,汇总了全球列国的不同模式在往时近百年现象变化弧线的模拟收尾。不错看到,各模子的模拟收尾之间存在各异。如何进一步裁减模子的不细目性?滥觞,是晋升模式的时空分袂率。举例,深圳的下一代风光模式,咱们贪图将其时空分袂率晋升至100米。这样,在台风莅临时,就能更精确地研判台风对通盘城市的具体影响,但同期这会带来蓄意需求的指数级增长。

其次,是新的AI行径。咱们对地不雅测正在产生海量科学数据,除了用传统的数据同化行径将数据引入模子外,如何诓骗AI行径是一大标的。

与此同期,超算架构也在发生巨大变化,尽头是2010年以来,咱们从同构多核转向了GPU。范围上,也从百万核发展到千万核。面前通盘的超算,包括国产超算,除了提供传统的双精度、单精度浮点算力,也集成了强盛的AI算力。如何灵验诓骗AI性能变得相称进犯,这些发展也带来了新的挑战。

02|挑战:指数级增长的算力需求与架构变革

第一个挑战是,蓄意机在上前发展,科学也在逾越,咱们如何贬责越来越复杂的模子与机器之间的适配问题?另一个挑战是不雅测数据。天际中约有千余颗卫星在进行科学不雅测,特地于地球每天在进行高精度“自拍”,如何会通这些数据,AI都不错发扬进犯作用。

接下来,我简要先容咱们在地球系统模拟,或称数字孪生地球方面,于国产超算上开展的一些劳动。滥觞先容神威系列超等蓄意机。民众可能再行闻中有所了解,1998年的首代神威1,为国度风光局建造,服务于1999年50周年国庆订正的风光保险。其时它如故基于英特尔X86架构的机器,排行不高。而神威在国表里引起热心,始于济南的神威·蓝光。这是第一台都备给与国产处理器打造的超算,其时招引了许多好意思、日巨匠前来巡视。

而真确凭借世界产处理器赢得世界第一的,是无锡的神威·太湖之光超算。其CPU内核都备自主研发,给与了世界产的众核片上会通异构架构,分为四个核组,每个核组由一个主核和一个8×8的从核阵列构成,集成了经管与高密度蓄意器件。连气儿四次赢得世界第一的神威·太湖之光,亦然全球首台峰值性能越过100Pflops的机器,并行范围达一千万核。

这台机器问世之初曾濒临一个挑战:由于给与了全新的国产架构,莫得可平直在其上运行的大型复杂科学蓄意圭表。因此,咱们花了三到五年时候,在神威的国产生态上设备了200多个可扩张到百万核并行的应用。咱们还发展了50余项可充分诓骗整机的新应用。对于圭表员而言,使用一台一千万核的机器,如同当今用上万张显卡教师大模子,既是巨大挑战,也极富成立感。神威超算系列有10余项应用入围国外高性能蓄意应用最高奖“戈登·贝尔”奖,其中3项获奖。

这里列出了一些主要的全新应用规模,涵盖今天讲的地球系统模拟,以及工业仿真、面前备受热心的生物材料、图蓄意、生物医药数据分析、量子蓄意、高能物理、天文等,筹商一系列生态正在神威平台上镇定设备起来。

这是咱们2015年在神威上完成的第一个神态,即全系统地球系统模式的移植,包括大气、海洋、陆面、海冰及耦合器,将其合座挪动到新机器上运行。这项约百万行代码的移植劳动,由清华和北师大构成的二十多东谈主团队完成,并在该机器上达成了百万核范围的高效扩张。

如斯复杂的地球系统模式移植本人是一个典型的复杂软件工程。因为圭表本人复杂,波及百万行代码,需在新机器上运行,且蓄意分散不均,需对通盘代码进行优化与重构。而且该圭表与新架构不适配,需进行全新遐想。这类科学蓄意圭表运行与大模子教师相称相似,需要在全机范围运行一个月以致数月,对机器建壮性、I/O及通盘系统都是巨大挑战。终末一个挑战是交叉型东谈主才匮乏,难以找到既懂风光又懂HPC的东谈主。频年来又濒临一个新挑战:培养出的这类东谈主才,很快便被从事大模子的公司挖走,因为能胜任这种范围系统调优的东谈主,所濒临的挑战与大模子规模高度相似。

在这个基于国产超算的模式研发神态中,咱们的第一步是对通盘圭表进行重构与优化,针对这个复杂模子,咱们分不同部分处理,举例其中的能源学部分、求解器部分,这些是相对圭表员易懂的部分,咱们进行了手动分析和优化。

另一部分是模子中的物理经由,包括云微物理经由、降水经由、发射经由等。这对圭表员是很大的挑战,因为他们不了解背后的物理机制。因此,咱们主要借助自动化用具,对轮回进行自动变换,以适配新架构。

经过初步重构优化后,咱们基本达成了百万核范围的扩张,达到了每天模拟约三年现象的速率。

03|从“描摹现象”到“驱动畴昔”

在2017年,咱们在此基础上进一步从头遐想了通盘模子。所谓从头遐想,便是针对神威处理器架构的特色,对算法、数据排布、蓄意经由、并行经由进行全面优化。

由于受生态废除,风光规模代码大多用Fortran编写,是以咱们第一步是将Fortran重写为C,因为其时咱们底层编写的Athread莫得Fortran接口。治疗成C之后,再开展底层优化,从而能够适度DMA、向量化,并达成RegisterCommunication。

通过这种款式,咱们才能真确达成对这一新处理器架构的诓骗。咱们的一个神威核组(64个从核),在蓄意密集任务中,可特地于数个至四十多个英特尔核的性能。

2017年,咱们的这项劳动也入围了“戈登·贝尔”奖,这副图片是咱们其时对卡特里娜飓风的模拟,其中展示了热带气旋逐步酿成、贴近好意思国大陆及肃清的经由。这是咱们初次尝试诓骗现象模子对此类台风、飓风现象进行较准确的描摹。

之后,咱们诓骗这个模子支捏了清华大学的现象系统模式,参与前述的国外模式比较筹画。这套数据显赫晋升了对热带气旋的模拟才能,咱们也招引了好意思国国度大气商酌中心(NCAR)的科学家配合,在神威上设备了高分袂率地球系统模式,并诓骗该模式坐褥了全球首套约750年的高分袂率现象模拟数据,供国外使用。

第二步,基于神威·海洋之光,咱们进一步向公里级的地球系统模拟探索。海洋之光是神威·太湖之光处理器架构的演进,仍给与核组结构,但核组数从4个增至6个,每个核组仍是一个主核带64个从核。因为数据的缓存和挪动才能至关进犯,每个从核里面的缓存架构都得到了晋升,因此存储和合座蓄意性能也得到了进一步晋升。

在此基础之上,咱们力图于于将全球现象模式的分袂率晋升至5公里级。图片展示的是咱们2023年的劳动,比较2015年头次移植CESM时,科学家已对现象模拟作念了多数改造,推出了新版块,这个新版块又需要移植到新的超算上。基于前期教化,咱们给与了一种“非侵入式的代码并行化决策”,中枢是基于OpenMP的O2ATHThread决策,自动将代码治疗为Athread接口,从而完成了通盘代码主要的并行化劳动。

咱们在2023年完成了这项三周内的模式移植探索(athreeweekportingexperiment),从CESM1.3到2.0,代码约有30%到40%的变动。咱们通过这种自动化款式,在三周内完成了这套代码在新超算系统上的重构与调优经由。

这次劳动使性能从领先的每天约模拟5天,晋升到终末每天可模拟半年,况且是在全球5公里大气、3公里海洋的分袂率下达成。2024年,咱们进一步引入AI才能,达成了AI增强的全球1公里分袂率,称为无破绽的天气现象模式。它既可进行短时天气商酌,也可用于历久现象商酌,这亦然咱们开展此项劳动的初志。

民众看到的这几张图,a图名为“BlueMarble”,是NASA宇航员在飞船内拍摄的第一张竣工地球相片,细节丰富。右上方c图是1965年首位因现象模子赢得诺贝尔物理学奖的真锅淑郎等科学家提倡的模子,分袂率约数百公里,较为不详。终末一张图是咱们2024年达成的公里级模子,可见其对现象经由的描摹已相称接近遥感卫星及时麇集的图像,为HPC与AI进一步会通提供了邃密基础。

该模子在顶点降水的模拟方面效果显赫。

在新神威上,模子在弱扩张和强扩张方面均取得了邃密的scaling才能。尽头在集成AI才能后,不错达成接近全机范围的扩张,同期达到一年每天以上的模拟速率。

这张图小结了咱们多年来在地球系统模拟方面的进展,包括好意思国、日本和中国超算在该规模鼓舞的劳动。图中横轴代表模拟分袂率,纵轴代表模拟速率。分袂率的晋升意味着蓄意量以四次方增长。咱们但愿在晋升分袂率的同期,加速模拟速率,贪图是向图右上角鼓舞。面前,咱们大致不错在约1公里分袂率下达到接近一年每天的模拟速率。

这是咱们本年的最新劳动,集成了之前在大气、海洋等方面的劳动。在与崂山海洋执行室配合的这个劳动中,同一团队达成了一个名为“AI驱动的高性能便携式地球系统模子”(AI-PoweredPerformancePortableEarthSystemModel),这项劳动也入围了本年戈登·贝尔奖现象建模类别的最终提名。

04|瞻望:超算与智算的会通演进

接下来谈谈深圳超算二期。前边已部分说起,近期大模子发展如斯速即,其背后是AI的ScalingLaw。其确实超算规模亦然相通的中枢逻辑,即通过高速互联将通盘处理器招引成合座,酿成浩繁的蓄意资源,用以求解极其复杂的问题。这与用数万张卡教师大模子的本色调换,其背后需要高度并行可扩张的算法,以及能与算力增长匹配的模子复杂度。

另一个难点在于,超算上运行的多是科学与工程蓄意,其背后是科学和工程规模的数理方程。因此,算力、软件必须与科学发现协同发展。

我浅易作念了一个AI与科学蓄意规模的比较。在通用东谈主工智能规模,往时这些年咱们如实看到了近乎线性的灵验扩张。其背后是Transformer这一面前业界近乎标准、相称相宜并行的强力行径。它与GPU架构高度共生,酿成了一套生态。数据方面,领有多数公开数据集,并有邃密的软件和东谈主才生态。

当今通盘AI会议简直是蓄意机学术会议中参与东谈主数最多、发文量最大的,当然招引了多数商酌东谈主员。比较之下,科学蓄意的上风在于其背后是可解说的科学轨则,是科学判辨转机的方程和模子。但其瑕疵是代码复杂、并行难度高、演进镇定。

培养一位能进行数理方程建模的商酌者需时较长。算力主要依靠国产算力,大致从2013、2014年出手,咱们主要基于神威·太湖之光等国产超算。此外,还存在公开数据集少、标注难、软件生态不完善,以及刚才提到的东谈主才流动性大等问题——超算培养的东谈主才常被大模子团队招引。

回到国度超算深圳中心。在咱们2010年一期系统基础上,二期系统行将上线。时隔15年,其效力将达成巨大晋升,从原本的P级峰值双精度蓄意性能,晋升至预期Linpack捏续测试性能达到双精度2个E,单精度4个EFlops。

该处理器还支捏INT8蓄意,若换算为INT8,整机可支捏32EFlops,表面峰值约40EFlops。深圳超算二期将与鹏城云脑三期背靠背甩掉。深圳超算二期是传统超算,云脑三期是AI超算,两台机器间有高速光纤互联。如斯大范围的传统超算与AI超算连结,在全世界可能也属首例,咱们也很期待能探索其在蓄意上的全新应用。

国产先进CPU的双精度浮点算力较高,同期,它既不错作念高精度的双精度浮点蓄意,又不错作念AI的蓄意,诚然这亦然一个相称高密度集成的决策,终末是2万多节点不错提供捏续不详2E以上的蓄意性能。

此图展示了初步的应用后果。在风光常用应用,如WRF或浪潮预告中,均取得了显赫的性能晋升,尤其获利于芯片集成的片上内存带来的高带宽。

咱们也准备这台机器上尝试HPC与AI会通的风光模子。举例,我本东谈主主捏的一个神态是在这台超算上尝试构建千万核可扩张的、公里级的我国区域海陆现象模式预测系统,中枢贪图是进行汛期预告,比如在3月份预测我国区域通盘汛期(6、7、8月)的降水情况。这是一个相称贫乏的问题,包括面前的新式风光大模子也未能很好贬责。咱们已出手筹商优化劳动。相称期待高精度模拟与数据驱动大模子结合能产生何种效果。

在深圳咱们但愿鼓舞的另一项劳动,是构建“国产新一代数值智能双驱动大湾区百米级风光预告系统”,包括百米级高精度数值模拟、AI缓助的大样本联接预告与数据同化期间,以及数值模子与AI模子双驱动。

终末回来几点。从我看成别称超算商酌者的角度看,超算与智算的想维相称相似,都是聚全力于少量,用咱们最强算力的款式去酿成期间的冲破和调动。在这个经由中,咱们所需的用具也需最大限制地自动化,如代码挪动、移植、生态运转等。在通盘这些大型蓄意任务中,性能、效力、范围和建壮性不可偏废。如今,易用的生态愈发进犯。首要问题的牵引历久是超算发展的中枢驱能源,需要硬件与软件协同发展。终末,正如之前提到的,咱们亟需跨规模复合型东谈主才,并具备系统想维。

我今天的共享就到这里,谢谢民众。

05|对话付昊桓:数值蓄意与AI的深度共生

底下是在演讲之后,付昊桓教悔的专访以及现场不雅众的问答技艺:

雷峰网:您当今在超算这边,最中枢想作念的事情到底是什么?

付昊桓:其实如若从一个比较轮廓的层面往复来,咱们当今最中枢想推动的一件事,便是数值蓄意和东谈主工智能的深度会通。

地球系统仅仅一个比较典型、也比较容易被民众判辨的例子,但并不是独一的应用场景。肖似的问题,其确实许多科学蓄意规模都会遭逢,比如具身智能、生物医药、材料科学等等。只不外地球系统的复杂性、跨圭表挑战和社会影响都相称隆起,是以它时常被拿出来谈判。

咱们并不是说要单独把AI拿出来作念一个“更奢睿的模子”,也不是浅易地去晋升某一个模子的精度,而是但愿从根蒂上去想考:在科学蓄意这样一个历久以数值模拟为中枢的行径体系中,AI到底应该以什么样的款式介入,才能真确改变咱们判辨和预测复杂系统的才能。

雷峰网:那为什么地球系统会被您反复看成一个中枢例子?

付昊桓:因为地球系统本人,简直把科学蓄意中最难的几个问题都会聚在了一谈。滥觞,它是一个典型的暗昧系统。咱们常说的蝴蝶效应,本色上讲的是系统对启动条目的高度敏锐性。哪怕是一个相称微弱的扰动,在经过有余长的时候和有余复杂的相互作用之后,都可能对合座景况产生显赫影响。

其次,它是一个顶点多圭表的系统。比如说,台风这种现象,可能发生在几十公里的圭表上;而降水、对流,时常是公里以致百米圭表;再往下,还有更微不雅的经由,发生在米级以致更小的圭表上。

更进犯的是,这些不同圭表的经由,并不是相互沉寂的,而是相互耦合、相互影响的。你不成只算大圭表而忽略小圭表,也不成只盯着局部而不看合座。恰是这种“通盘圭表连在一谈”的脾性,使得地球系统成为一个相称典型、但也极其贫乏的商酌对象。

雷峰网:本年咱们不雅察到市集对于算力谈判比较多,就像算力泡沫的这样声息一直存在,而国内一些上市公司的算力神态也出现展期或者间隔的情况。然而另一方面,头部科技公司的成本支拨一直在高速增长。是以想求教您怎么去判断面前通盘算力市集的一个供需的情况?

付昊桓:其实我我方不是作念算力的,然而咱们超算培养的许多科研东谈主员,当今如确实作念算力。我以为这里面有一个问题我以为民众需要去热心,便是算力的参预,到底是不是投硬件就够了?尽头是咱们国产算力这一块。比如从超算的角度来讲,历久以来都是硬件的参预比较大,然而软件的参预相对比较少,我想国产的AI算力可能也濒临这样一个问题。

刚才也提到了其实GPU的生态从不详从CUDA推出的2008年,到当今如故是十几年的发展才到当今这样,背后其实英伟达投了多数的资源来作念这个生态,是以你说是不是应该民众都去投算力?如故说咱们跟应用贴的更近的,应该多投少量资源来作念相应算力的软件生态,尽头是基础框架的软件?我嗅觉这块作念的东谈主可能相对如故比较少。

至于说这个算力到底够不够,我嗅觉对咱们科研从业东谈主员来讲可能如故不太够。至于说产业发展角度够不够,因为我不在这个行业里面,我也很难给出准确的判断。