ChatGPT的火爆，讓大家看到AI大模型的威力。于是乎，國內相關企業(yè)紛紛踏入AI大模型賽道，并呈現(xiàn)出“百模大戰(zhàn)”的火爆場面。
大模型市場必將是一場消耗戰(zhàn)，而背后的算力資源成為決定力量，“我們判斷基于AI大模型的訓練算力需求至少會持續(xù)1-2年，并最終形成每個行業(yè)/領域2-5家大模型贏家。” 近日，寶德AI&HPC部部長鄔鴻這樣預測到。寶德計算是國內最早做AI服務器的頭部服務器廠家之一，目前中國AI服務器市場的TOP3，也是早期為字節(jié)跳動、美團等互聯(lián)網(wǎng)廠商提供AI算力服務的伙伴。如今其AI服務器解決方案已經(jīng)覆蓋針對AI訓練、AI推理以及邊緣推理等場景。近日，針對企業(yè)如何評估大模型需求、如何更高效應實現(xiàn)對大模型訓練和推理的算力加速，鄔鴻也分享精彩的觀點。
01
如何評估AI大模型需求？
當前整個算力市場面臨著算力供給突飛猛進和大模型算力需求相對不足的沖突。至頂智庫統(tǒng)計，截至2023年2月，我國目前已投入運營和在建的人工智能計算中心達23個，分布在北京、上海、南京、杭州等多個城市。但是在AI算力加速布局的同時，企業(yè)如何評估自身的大模型需求以及構建相適應的算力基礎設施成為AI應用發(fā)展的首要問題。
評估AI大模型需求是一個系統(tǒng)工程，不僅需要了解業(yè)務需求，還要了解模型的復雜性、海量數(shù)據(jù)的多樣性以及算力本身的性能和成本考量。
AI大模型訓練需要服務器集群實現(xiàn)大規(guī)模計算，因此企業(yè)要判斷自身服務對象的數(shù)據(jù)量以及需要圍繞著面向訓練場景，包括算力，網(wǎng)絡、存儲的整個算力需求進行評估。鄔鴻認為AI大模型需求隨著數(shù)據(jù)量的增長，對于算力的需求不是簡單的線性增加，而是指數(shù)型增加。“企業(yè)的服務客戶群體是百萬，千萬，或者甚至上億級別，對AI算力需求是完全不一樣的變化，因為算力是根據(jù)AI大模型需求增長呈現(xiàn)指數(shù)性增加，而不是線性增加，所以首先企業(yè)要明確服務對象的體量，包括對會話請求的要求，通過這一點可以判斷未來行業(yè)大模型落地的大概算力需求。” 鄔鴻分享到。
另外，還要考慮大模型拓展帶來的長尾效應。“如果進一步深入到中小型應用的大模型拓展，例如像電力、金融、電商、物流等行業(yè)大模型，其長尾效應非常寬也非常長，勢必帶來AI算力的需求增長，雖然沒有互聯(lián)網(wǎng)動輒上萬片的算力卡需求，但是聚少成多，具備很強的長尾效應。” 鄔鴻介紹到，一般企業(yè)對行業(yè)大模型的算力需求在100-1000張卡之內，這可以滿足絕大部分行業(yè)大模型訓練需求。
長期來看，通用大模型市場是一個優(yōu)勝劣汰且贏家通吃的過程。鄔鴻在采訪中預判AI算力的需求特別是基于大模型的訓練算力需求至少會持續(xù)1-2年，并最終形成每個行業(yè)/領域2-5家大模型贏家。
02
高效應對AI大模型，算力是關鍵
當前AI服務器已經(jīng)廣泛應用在人工智能、深度學習、智慧教育、智能城市、醫(yī)療健康、大數(shù)據(jù)、高性能計算 (HPC)、虛擬現(xiàn)實等，以及媒體傳輸、云游戲、元宇宙等智能視覺云應用等。基于AI服務器在大模型訓練和推理方面的優(yōu)勢，未來整個服務器市場也發(fā)生了巨變。“今年來看，AI服務器增長速度遠遠高于通用服務器增長速度，從銷售額來看，我們預估可能到明年或者后年，通用服務器和AI服務器市場占比可能達到1:1。”鄔鴻談到。
如今，除了傳統(tǒng)服務器，寶德計算攜手英特爾、英偉達以及昇騰AI等合作伙伴，持續(xù)推出了面向AI加速計算服務器系列產(chǎn)品，通過高性能、可擴展性強、高能效和開箱即用等優(yōu)勢，滿足AI客戶尤其是大模型訓練和推理提供超高性價比的算力支撐。
寶德計算AI服務器目前針對AI訓練、AI推理以及邊緣推理推出全系列面向AI場景的算力基礎設施。
訓練服務器偏向于以單機多卡滿足高性能的訓練價值為主，主要面向互聯(lián)網(wǎng)、AI獨角獸以及ISV等用戶的傳統(tǒng)的深度學習訓練場景。比如基于GPU的寶德AI加速計算服務器，支持新一代 NVIDIA NVLink 互聯(lián)技術的NVIDIA H800 GPU ，也可支持Intel® Gaudi®2 GPU，通過GPU承擔部分預算量繁重且耗時的代碼，實現(xiàn)應用程序加速，加速企業(yè)實現(xiàn)更多計算任務、處理更大數(shù)據(jù)集、縮短應用運行時間，可為大模型訓練提供強勁的算力支持。
同時，寶德自強AI訓練服務器系列是基于鯤鵬處理器+昇騰910處理器打造的AI訓練服務器，具有超強算力密度、高速網(wǎng)絡帶寬等特點。該系列服務器廣泛應用于深度學習模型開發(fā)和訓練，適用于智慧城市、智慧醫(yī)療、天文探索、石油勘探等需要大算力的行業(yè)領域。
推理服務器主要通過高并發(fā)的推理卡，面向CSP業(yè)務的數(shù)據(jù)中心推理以及ISV面向的私有端-網(wǎng)安、安防、智慧城市等市場，應用于廣告、用戶畫像和視頻等場景。
對于需要更多變化的邊緣推理應用場景，寶德計算也有對應的邊緣推理設備，里面集成了英特爾嵌入式CPU，以及NVIDIA Jetson模組，來滿足客戶對于邊緣側的推理需求。
此外，寶德計算也在AI軟件層面做了很多積累，推出了人工智能管理平臺PLStack，支持AI的擴展開發(fā)、算法開發(fā)、模型訓練，以及模型的推理發(fā)布等功能，通過該平臺可以幫助中小企業(yè)直接應用其AI科研或者AI訓練，加速AI的方案的落地。
03
AI大模型需求背后是整個AI生態(tài)的建設
面向大模型需求，除了AI算力，還需要關注整個AI生態(tài)。這方面，寶德堅持與國內外AI芯片產(chǎn)業(yè)鏈頭部廠商深度合作，緊跟先進技術做適配與研發(fā)，與Intel戰(zhàn)略合作20多年，是NVIDIA和昇騰的OEM合作伙伴，積極擁抱開放的AI芯片產(chǎn)業(yè)。同時，寶德建立AI生態(tài)適配中心，聚焦推理場景，與更多國產(chǎn)AI加速卡合作和適配，滿足客戶多樣性的算力需求。
此外，因為AI大模型還涉及到算力基礎設施，包括高性能網(wǎng)絡和高性能存儲。寶德建議在AI服務器集群發(fā)展方面，除了考慮AI算力方面的優(yōu)勢，也要提前規(guī)劃好面向未來的高性能網(wǎng)絡和高性能存儲平臺，為算力基礎設施擴容打好基礎。
“存儲擴容和網(wǎng)絡擴建，相對來說都比較復雜，因此在做大模型的初步方案設計時一定要將底層的根基——底層的高性能存儲加上中間的高性能網(wǎng)絡整個平臺搭建好。” 鄔鴻最后分享說， “我們給客戶設計整個方案，盡量將底層的存儲和網(wǎng)絡設計得更有預見性，為未來的擴容留下更多的接口。”
4008-870-872
點擊咨詢
