1引言

隨著大數(shù)據(jù)?人工智能等技術(shù)的蓬勃發(fā)展,數(shù)據(jù)中心承載業(yè)務(wù)對(duì)算力的需求不斷提高,進(jìn)而導(dǎo)致數(shù)據(jù)中心規(guī)模不斷擴(kuò)大?單機(jī)架功率持續(xù)提升?數(shù)據(jù)中心規(guī)模的擴(kuò)大和單機(jī)架功率的提升使數(shù)據(jù)中心能耗不斷增長(zhǎng),居高不下的能耗不僅給企業(yè)帶來(lái)了沉重的成本支出,也對(duì)社會(huì)能源?資源造成了極大的消耗?與此同時(shí),數(shù)據(jù)中心單機(jī)功率密度的提升使得數(shù)據(jù)中心熱量集聚問(wèn)題愈發(fā)凸顯,傳統(tǒng)風(fēng)冷制冷方式散熱能力不足的缺陷逐漸暴露出來(lái),成為影響單機(jī)架功率密度提升的主要因素?

當(dāng)前,我國(guó)正處于數(shù)字化轉(zhuǎn)型的關(guān)鍵時(shí)期,各行業(yè)對(duì)數(shù)據(jù)中心算力的需求將保持高速增長(zhǎng),單機(jī)架功率密度預(yù)期仍將進(jìn)一步提升;而數(shù)據(jù)中心的綠色發(fā)展也受到了社會(huì)的格外關(guān)注?因此,必須創(chuàng)新數(shù)據(jù)中心制冷方式以應(yīng)對(duì)挑戰(zhàn)?作為一項(xiàng)全新的革命性“產(chǎn)物”,液冷技術(shù)的興起,全面改變了數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)?而冷板式液冷以其技術(shù)成熟?方便易用的特性,廣受業(yè)界關(guān)注?本文主要對(duì)冷板式液冷技術(shù)發(fā)展與應(yīng)用現(xiàn)狀進(jìn)行了分析,以期更好明晰產(chǎn)業(yè)發(fā)展動(dòng)向?

2液冷及冷板式液冷技術(shù)發(fā)展歷程

20世紀(jì)60年代,IBM推出了采用液冷系統(tǒng)的System/360型91大型計(jì)算機(jī),這款產(chǎn)品以高速度和高性能優(yōu)勢(shì)被廣泛運(yùn)用?但在很長(zhǎng)的一段時(shí)間內(nèi),液冷技術(shù)并沒(méi)有得到有效的發(fā)展,主要原因是早期數(shù)據(jù)中心規(guī)模小?機(jī)架功率密度低,對(duì)液冷的需求并不強(qiáng)烈?其次,與風(fēng)冷技術(shù)相比,液冷技術(shù)在系統(tǒng)部署?制冷原理以及技術(shù)方向等方面存在較大的研發(fā)及應(yīng)用困難?因此,在很長(zhǎng)一段時(shí)間內(nèi),數(shù)據(jù)中心液冷技術(shù)發(fā)展緩慢,數(shù)據(jù)中心制冷仍然以風(fēng)冷為主?而近年來(lái),隨著互聯(lián)網(wǎng)?人工智能?大數(shù)據(jù)等應(yīng)用的不斷創(chuàng)新和發(fā)展,不但快速推動(dòng)了數(shù)據(jù)中心應(yīng)用場(chǎng)景的變革,而且也加快了底層技術(shù)如液冷等的發(fā)展步伐?

按照是否與發(fā)熱的器件產(chǎn)生直接接觸的形式,將液冷技術(shù)分為接觸和非接觸式兩種類型?接觸式液冷中冷卻液與發(fā)熱器件可直接接觸,接觸式液冷技術(shù)的具體實(shí)現(xiàn)方案主要包括浸沒(méi)式和噴淋式液冷,非接觸式液冷技術(shù)的典型方案是冷板式液冷?浸沒(méi)式液冷往往需要對(duì)IT設(shè)備進(jìn)行定制化改造和設(shè)計(jì),對(duì)機(jī)房現(xiàn)有IT基礎(chǔ)設(shè)施改造幅度較大,技術(shù)難度較高?噴淋式液冷通過(guò)在機(jī)箱頂部?jī)?chǔ)液和開孔方式讓冷卻液對(duì)發(fā)熱體進(jìn)行噴淋,噴淋式液冷對(duì)機(jī)箱改造幅度較小,但是在制冷過(guò)程中可能會(huì)產(chǎn)生冷卻液遇高溫飄逸和蒸發(fā)現(xiàn)象,這些霧滴經(jīng)機(jī)箱孔洞散發(fā)到機(jī)箱外后可能會(huì)降低機(jī)房清潔度,并對(duì)機(jī)房?jī)?nèi)其他設(shè)備造成影響,而冷板式液冷技術(shù)對(duì)服務(wù)器的改造幅度也相對(duì)較小,且安全性較高?

上述三種液冷技術(shù)方案中,冷板式液冷技術(shù)是應(yīng)用最早?普及率最高的液冷制冷方式,其可操作性和市場(chǎng)的成熟度也相對(duì)較高?國(guó)內(nèi)外在研究冷板式的應(yīng)用上具有較多的實(shí)踐案例,其中IBM的SuperMUC則充分利用了冷板式的制冷特點(diǎn),該超算中心水冷系統(tǒng)具有3072個(gè)溫水水冷計(jì)算節(jié)點(diǎn),共計(jì)86016個(gè)計(jì)算內(nèi)核?由于德國(guó)常年氣溫都低于35度,超算中心實(shí)現(xiàn)了全年自然冷卻的效果,為業(yè)界的綠色HPC系統(tǒng)標(biāo)桿?如今德國(guó)慕尼黑部署超算中心(LRZ)在SuperMUC-NG集群上運(yùn)行了750個(gè)應(yīng)用程序,2000多名科學(xué)家可通過(guò)自助模式隨時(shí)訪問(wèn)HPC資源?

與國(guó)外相比,我國(guó)的數(shù)據(jù)中心發(fā)展相對(duì)較晚,初期發(fā)展過(guò)程中對(duì)數(shù)據(jù)中心的能耗方面重視較低,大部分?jǐn)?shù)據(jù)中心PUE(PowerUsageEffectiveness)保持在2.2~3.0之間?近年來(lái),不少數(shù)據(jù)中心都積極嘗試包括冷板式液冷在內(nèi)的新技術(shù)?2015年,中科院使用冷板式液冷服務(wù)器建設(shè)了“地球系統(tǒng)數(shù)值模擬裝置原型系統(tǒng)”,通過(guò)大量的實(shí)驗(yàn)測(cè)試,不但有效降低了PUE的值,而且也大幅度降低了能源消耗,在一定程度上提升了計(jì)算性能?

總體來(lái)看,液冷技術(shù)的應(yīng)用使得數(shù)據(jù)中心的PUE值得到改善,而且能效水平得到了明顯的提升?目前,國(guó)內(nèi)外在冷板式液冷方面,均進(jìn)行了較多的嘗試,并取得了較好的進(jìn)展?國(guó)內(nèi)以華為的全液冷系統(tǒng)為例,其利用液冷技術(shù),較好的實(shí)現(xiàn)了IT設(shè)備的高密度部署,提高數(shù)據(jù)中心能源使用效率?

3冷板式液冷技術(shù)分析

當(dāng)前,冷板式?噴淋式以及浸沒(méi)式等類型,屬于業(yè)界典型的液冷技術(shù)?本文主要以冷板式液冷技術(shù)為主要研究?jī)?nèi)容,本章對(duì)冷板式液冷系統(tǒng)設(shè)計(jì)?優(yōu)勢(shì)及現(xiàn)存問(wèn)題進(jìn)行介紹?

3.1冷板式液冷系統(tǒng)設(shè)計(jì)

冷板式液冷主要通過(guò)冷板(銅?鋁等高導(dǎo)熱金屬構(gòu)成的封閉腔體)將元器件的熱量間接傳遞給封閉在循環(huán)管道中的冷卻液體,然后利用冷卻液體將熱量帶走,其通過(guò)工作流體的傳遞特點(diǎn)將中間熱量運(yùn)輸?shù)胶蠖诉M(jìn)行冷卻?液冷主要的循環(huán)過(guò)程,如圖1所示?首先,在機(jī)柜上設(shè)置分水器;其次,對(duì)接進(jìn)出水管路提供給計(jì)算節(jié)點(diǎn)的進(jìn)出口,以節(jié)點(diǎn)內(nèi)的冷板管為媒介,完成液體的循環(huán);最后,將CDU與外部管路連接的接頭連接,完成液冷循環(huán)?

如圖2?圖3所示,在冷板式液冷的設(shè)計(jì)過(guò)程中,主要由一次側(cè)與二次側(cè)的相關(guān)設(shè)備構(gòu)成,一次側(cè)通過(guò)冷卻液體與發(fā)熱部件的熱量進(jìn)行相互交換的方式降低冷卻液的溫度;二次側(cè)完成發(fā)熱部件與冷卻液體熱量的交換,液體升溫帶走部件熱量?通過(guò)一次側(cè)和二次側(cè)的結(jié)合實(shí)現(xiàn)了冷板式液冷系統(tǒng)的整機(jī)液體循環(huán),進(jìn)而成為IT設(shè)備散熱的目標(biāo)?

數(shù)據(jù)中心的可用性一直以來(lái)都受到業(yè)內(nèi)的主要關(guān)注,冗余設(shè)備及部件的應(yīng)用,將會(huì)有效提高數(shù)據(jù)中心可用性?在使用冷板式液冷的過(guò)程中,為了保障整個(gè)系統(tǒng)一次側(cè)和二次側(cè)有較高的可用性,則應(yīng)對(duì)關(guān)鍵設(shè)施進(jìn)行冗余裝配,具體情況如下:

(1) 一次側(cè)設(shè)備冗余:主要由室外機(jī)等設(shè)備組成,通常情況下,采用N+1冗余已經(jīng)可以較好的實(shí)現(xiàn)日常維護(hù)并應(yīng)對(duì)突發(fā)事件;

(2) 二次側(cè)設(shè)備冗余:關(guān)鍵設(shè)備為冷卻液分配單元(CDU),一般可以根據(jù)系統(tǒng)的規(guī)模?以及對(duì)安全性的要求進(jìn)行設(shè)備的冗余配置,若對(duì)大規(guī)模的系統(tǒng)要求較高的安全系數(shù),采用不低于N+1冗余配置的應(yīng)用較為合適;

(3) 液體管路冗余:從管路的可靠性,以及設(shè)備的經(jīng)濟(jì)性和易用性等角度出發(fā),一般冷板式液冷的液體管路可以按照無(wú)冗余的方式進(jìn)行配置?

3.2冷板式液冷的優(yōu)勢(shì)

為了提高數(shù)據(jù)中心的散熱效率,產(chǎn)業(yè)界做了大量嘗試,但相關(guān)技術(shù)均存在一定的局限性,而冷板式液冷技術(shù)在應(yīng)用方面,具有以下優(yōu)勢(shì):

(1) 材料兼容性好?冷板式液冷技術(shù)在冷卻液管路中流動(dòng)時(shí),并未與主板和芯片模塊進(jìn)行直接的接觸,材料兼容性較強(qiáng)?而且在選擇冷卻液時(shí),可只考慮冷卻液與循環(huán)管路以及冷板之間的兼容性問(wèn)題；

(2) 對(duì)發(fā)熱器件的要求較低,安裝較為簡(jiǎn)捷?冷板式技術(shù)不改變服務(wù)器主板原有的形態(tài),而是在保留現(xiàn)有服務(wù)器主板時(shí),對(duì)其進(jìn)行改裝實(shí)現(xiàn)?這種改裝方式不僅拆卸簡(jiǎn)單?安裝方便,而且在技術(shù)?產(chǎn)業(yè)以及規(guī)模化生產(chǎn)上具有更好的可行性；

(3) 成本較低,應(yīng)用發(fā)展快?高昂的水冷機(jī)組極大的提高了數(shù)據(jù)中心建設(shè)的總體成本,而冷板式液冷技術(shù)的應(yīng)用替代了高成本的水冷機(jī)組,有效的降低了總成本的消耗量?采用冷板式液冷技術(shù)不但可以有效提高數(shù)據(jù)中心的能源利用率,而且在適應(yīng)數(shù)據(jù)中心的高密度需求方面也較為符合；

(4) 高密度?高效能?高可靠?采用冷板式液冷系統(tǒng)后,可以實(shí)現(xiàn)機(jī)架功率密度的提高,有效提升單機(jī)架的計(jì)算能力;冷板式液冷系統(tǒng)相對(duì)風(fēng)冷在能效方面,也將具備高效能的特點(diǎn)?同時(shí),相對(duì)于風(fēng)冷,在產(chǎn)業(yè)界進(jìn)一步對(duì)液體?管理和設(shè)備冗余進(jìn)行更為合理的設(shè)計(jì)和應(yīng)用后,液冷也將具有比風(fēng)冷更高的可靠性?

3.3冷板式液冷現(xiàn)存問(wèn)題

目前,冷板式液冷技術(shù)發(fā)展中面臨一些困難?

3.3.1需要解決機(jī)房適配問(wèn)題

冷板式液冷方式的部署環(huán)境與傳統(tǒng)的機(jī)房管路配置相比不但具有很大的差異性,而且在部署傳統(tǒng)機(jī)房的液冷系統(tǒng)時(shí)會(huì)消耗較大的部署成本?包括轉(zhuǎn)接頭之類的部件兼容性也是機(jī)房適配需要考慮的問(wèn)題?

3.3.2相關(guān)標(biāo)準(zhǔn)需進(jìn)一步完善

目前,基于開放數(shù)據(jù)中心委員會(huì)(ODCC)的研究成果,中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)發(fā)布了系列液冷團(tuán)體標(biāo)準(zhǔn)?這些標(biāo)準(zhǔn)可以進(jìn)行框架性指導(dǎo),但需要更加細(xì)節(jié)性的技術(shù)規(guī)范對(duì)冷板式液冷部署和液體相關(guān)進(jìn)行標(biāo)準(zhǔn)化規(guī)范管理,為后續(xù)大規(guī)模部署奠定良好基礎(chǔ)?

3.3.3急需專項(xiàng)資金支持

液冷技術(shù)是一項(xiàng)成本耗費(fèi)巨大的工程項(xiàng)目,不但需要具有優(yōu)秀的服務(wù)器研發(fā)能力,同時(shí)還需要具備相關(guān)流體方面的技術(shù)實(shí)力,還需要機(jī)房風(fēng)火水電等基礎(chǔ)設(shè)施的整體配合,投入較大?見效較慢,如有相關(guān)專項(xiàng)資金的支持將會(huì)提升該技術(shù)的應(yīng)用進(jìn)度?

4冷板式液冷應(yīng)用實(shí)踐

為了實(shí)現(xiàn)冷板式液冷系統(tǒng)的穩(wěn)定運(yùn)行,冷板式液冷必須在相關(guān)技術(shù)方面取得突破,本文對(duì)冷板式液冷的技術(shù)及業(yè)界具體實(shí)踐進(jìn)行了分析?

4.1液冷與風(fēng)冷的結(jié)合應(yīng)用

冷板式液冷通過(guò)設(shè)備內(nèi)部的管路,實(shí)現(xiàn)了將大功耗部件產(chǎn)生熱量,使用液體冷卻介質(zhì)帶走的目的?通常情況下,設(shè)備內(nèi)部熱量較少的器件,仍將采用風(fēng)冷的形式進(jìn)行散熱,如硬盤?接口卡等設(shè)備?因此,與采用風(fēng)冷的散熱形式相比,液冷與風(fēng)冷的結(jié)合有效降低了損耗的效率,成為業(yè)內(nèi)典型的應(yīng)用模式?如圖4所示,為目前業(yè)界采用的方案之一,其直接液冷部分采用冷板的形式,為大功率發(fā)熱部件;其間接液冷部分,通過(guò)換熱器,實(shí)現(xiàn)風(fēng)冷系統(tǒng)的熱風(fēng)與一次側(cè)冷卻液體的熱量交換,從而利用冷卻液體將熱量帶出機(jī)房?液冷與風(fēng)冷的結(jié)合,不但可以通過(guò)利用液體冷卻的技術(shù)進(jìn)行高效率的散熱;而且也可以采用風(fēng)冷的形式,為發(fā)熱功率較低的部件進(jìn)行散熱,也降低了系統(tǒng)的設(shè)計(jì)和使用難度,并有利于在總體上實(shí)現(xiàn)效果?成本的最優(yōu),也有利于系統(tǒng)更為靈活的應(yīng)用?

4.2水質(zhì)監(jiān)控技術(shù)應(yīng)用

冷卻液是液冷系統(tǒng)進(jìn)行熱量交換的主要媒介,因此,如何挑選合適的冷卻液成為眾多企業(yè)研究的主要目標(biāo)?應(yīng)用層面,選取冷卻液應(yīng)當(dāng)考慮環(huán)保?穩(wěn)定?經(jīng)濟(jì)以及電化學(xué)反映等因素;另一方面,也要采用技術(shù)手段,監(jiān)測(cè)水質(zhì)等情況,以進(jìn)行響應(yīng)的預(yù)防和處理?當(dāng)前,冷板式液冷的冷卻液包括乙二醇?水等,在水質(zhì)監(jiān)測(cè)方面,包括pH值?液體濃度?微生物總數(shù)等指標(biāo),冰點(diǎn)儀?pH計(jì)以及折光儀等成為監(jiān)測(cè)所采用的設(shè)備或者方法?

4.3熱回收技術(shù)應(yīng)用

數(shù)據(jù)中心的余熱利用是企業(yè)長(zhǎng)期關(guān)注的重點(diǎn)研究?jī)?nèi)容,不但可以大幅度提高能源的利用效率,而且也穩(wěn)定了系統(tǒng)的可靠性能?當(dāng)前的制冷設(shè)備無(wú)法直接吸收數(shù)據(jù)中心的低品位余熱,而液冷冷板式散熱器在降低消耗額外電能的情況下,可直接吸收低品位余熱?液冷散熱的運(yùn)行水溫具有長(zhǎng)期不變的特點(diǎn),因此與其他的機(jī)組相比,液冷散熱的節(jié)能效果極為顯著,不但在吸收冷凝熱方面具有較大的優(yōu)勢(shì),而且具有較高的綜合能效比?

5結(jié)束語(yǔ)

在數(shù)字經(jīng)濟(jì)高速發(fā)展的時(shí)代,數(shù)據(jù)中心規(guī)模的不斷擴(kuò)大?單機(jī)架功率密度快速提升,對(duì)數(shù)據(jù)中心制冷和能耗帶來(lái)了前所未有的挑戰(zhàn),多數(shù)企業(yè)已經(jīng)意識(shí)到建立低能耗?高制冷效率以及高節(jié)能數(shù)據(jù)中心的重要性?

在數(shù)據(jù)中心的建設(shè)與運(yùn)營(yíng)過(guò)程中,液冷數(shù)據(jù)中心雖具有架構(gòu)簡(jiǎn)單?低能耗的特點(diǎn),但處于初步發(fā)展階段的液冷技術(shù),在設(shè)備研發(fā)?冷卻液穩(wěn)定性?運(yùn)維等方面,還有諸多問(wèn)題急需解決?冷板式液冷技術(shù)作為液冷技術(shù)重要的實(shí)現(xiàn)方式之一,目前已經(jīng)逐步開始在產(chǎn)業(yè)界進(jìn)行應(yīng)用?針對(duì)冷板式液冷技術(shù),本文從技術(shù)和應(yīng)用兩方面進(jìn)行了分析?未來(lái),冷板式液冷技術(shù)除了其本身的演進(jìn)外,也必將對(duì)機(jī)房?供配電?IT設(shè)備等產(chǎn)生巨大的影響?業(yè)界應(yīng)當(dāng)高度關(guān)注液冷技術(shù)的變革,并研究其對(duì)數(shù)據(jù)中心建設(shè)的影響,進(jìn)而推動(dòng)技術(shù)的應(yīng)用,實(shí)現(xiàn)高效能數(shù)據(jù)中心的建設(shè)?

本文來(lái)源：知網(wǎng) 版權(quán)歸原作者所有，轉(zhuǎn)載僅供學(xué)習(xí)交流，如有不適請(qǐng)聯(lián)系我們，謝謝。

標(biāo)簽： 液冷、數(shù)據(jù)中心等 點(diǎn)擊： 評(píng)論: