百度智能云攜手好未來 加快推動大模型落地教育場景
2024-04-29
近兩年,人工智能技術(shù)深度融入教育領域,服務教育工具升級和創(chuàng)新,助力教育行業(yè)高質(zhì)量發(fā)展。
百度智能云聯(lián)合大模型落地教育場景先行者好未來教育集團(簡稱“好未來”),運用功能豐富、性能卓越的百度百舸·AI異構(gòu)計算平臺,為好未來自研“九章大模型(MathGPT)”提供關鍵支撐,推動大模型深入教育場景,助力教育行業(yè)智能化轉(zhuǎn)型。
企業(yè)自研大模型不僅需要強大的算法、技術(shù)團隊平臺,還需要與之匹配的AI基礎設施,包括高性能計算平臺、存儲系統(tǒng)、網(wǎng)絡、調(diào)度框架、數(shù)據(jù)集等。此外,還需要具備成熟的工程化平臺能力,能夠快速啟動整個研發(fā)項目、驗證基座模型,以便基于底座模型結(jié)合應用場景、教研數(shù)據(jù)、業(yè)務反饋快速推動后續(xù)迭代,把流程轉(zhuǎn)起來。同時,在大模型訓練、推理階段,企業(yè)還需具備處理大規(guī)模任務的能力,以現(xiàn)有的基礎設施持續(xù)提升資源利用率、任務效率,在最短時間內(nèi)實現(xiàn)自研大模型上線和啟用。
對此,好未來與國內(nèi)AI行業(yè)深耕大模型產(chǎn)業(yè)方向的第一批實踐者百度智能云合作,運用百度百舸·AI異構(gòu)計算平臺,打造高性能的專業(yè)AI基礎設施,為自研“九章大模型(MathGPT)”提供AI支持,成功解決了大模型應用早期遇到的把流程轉(zhuǎn)起來的問題。
基于百度百舸·AI異構(gòu)計算平臺,好未來可以快速、方便地創(chuàng)建千卡級別的訓推任務集群。算力方面,集群以A800、H800作為典型的異構(gòu)算力,最大可支撐16000 GPU卡的規(guī)模;存儲方面,集群適用于大規(guī)模深度學習訓練場景,可提供亞毫秒級(300us)的時延,服務可用性不低于99.95%;此外,集群支持在線彈性擴展,可快速實現(xiàn)容量及吞吐性能的線性增長。在與好未來的合作中,百度百舸·AI異構(gòu)計算平臺能實現(xiàn)單集群總量超過500TB,可為訓練任務的模型、數(shù)據(jù)加載提供高性能的數(shù)據(jù)讀取與傳輸保障,大大提升任務的時效。
面向不同的大模型訓練場景,百度百舸·AI異構(gòu)計算平臺在運行框架和實踐中,從計算效能、顯存策略、分布式并行策略等方面進行優(yōu)化,結(jié)合高性能網(wǎng)絡的特性升級,大幅提升大語言模型的訓練性能。LLaMA2系列、GLM系列等多尺寸模型都達到了訓練指標,千卡任務加速比保持在90%,模型算力利用率(MFU,即模型一次前反向計算消耗的矩陣算力與機器算力的比值)60%—70%,在有限的算力條件下訓練時間大幅降低。AI容器方面,百度百舸·AI異構(gòu)計算平臺可以實現(xiàn)更靈活的策略調(diào)度與任務編排,為進一步實現(xiàn)離在線混布、推理訓練任務的資源聯(lián)合調(diào)度與分配打下基礎。
此外,基于重點訓練任務,百度百舸·AI異構(gòu)計算平臺可在訓練上游環(huán)節(jié)提供數(shù)據(jù)服務的能力支持,能方便、快捷地幫助好未來用戶實現(xiàn)海外Hugging Face上的數(shù)據(jù)轉(zhuǎn)載;在訓練過程中,結(jié)合訓練可視化能力,可通過監(jiān)測大盤實現(xiàn)資源統(tǒng)計、工作負載等全面指標的匯總與統(tǒng)計;訓練下游推理任務也實現(xiàn)了服務能力的封裝,幫助好未來用戶一站式、快速實現(xiàn)推理任務的部署與啟用。
目前,經(jīng)過百度百舸·AI異構(gòu)計算平臺訓練支持的“九章大模型(MathGPT)”已經(jīng)廣泛應用于好未來的智能硬件學而思旗艦學習機及多個業(yè)務場景中,為用戶提供更智能的體驗。
未來,百度智能云將繼續(xù)攜手好未來,運用人工智能大模型的科技力量,服務教育場景與學習方式創(chuàng)新,打造智能化、個性化的教育科技產(chǎn)品與解決方案,為助力教育強國建設貢獻力量。
本文出自:《 人民日報 》( 2024年04月29日 第12版)
原文鏈接:http://paper.people.com.cn/rmrb/html/2024-04/29/nw.D110000renmrb_20240429_3-12.htm