歐洲中期天氣預報中心(ECMWF)是全球權威的國際性天氣預報研究和業務機構,該中心于1979年6月首次做出了實時的中期天氣預報,現在,華為盤古氣象大模型,為世界展現了另一種可能。
盤古氣象大模型研發團隊核心成員對鈦媒體App表示,之前大家不相信AI方法能夠實現更高的精度和更好的效率,ECMWF也在探索用AI預測天氣,但是規劃的時間表以十年計算,他們認為,AI方法存在很多現階段難以突破的問題。
(資料圖片僅供參考)
例如分辨率不夠,省級和區級的天氣預報,數據量相差很大,如果要做到更高的分辨率,數據量要達到上千TB,這比其他AI應用數據量要大得多,大數據意味著消耗大算力,這部分問題能夠通過堆硬件、工程化解決。
再如現有的 AI 預報方法精度大部分顯著低于數值預報方法,這也是很多人都不相信AI能夠超過數值預測方法的主要原因,現有的 AI 氣象預報模型都是基于 2D 神經網絡,無法很好地處理不均勻的 3D 氣象數據,同時AI 方法缺少數學物理機理約束,因此在迭代過程中會不斷積累迭代誤差。
華為云提出了3D Earth-Specific Transformer方法,在每一個視覺transformer模塊中新引入和緯度、高度相關的絕對位置編碼,從而更好地處理復雜的3D氣象數據,并且拆分各個不同的時間段模型分散訓練,減少單個模型迭代的次數,從而減少迭代誤差。
“我們不僅做出來一個精度超過歐洲氣象中心數據預報的模型,而且我們迅速讓這個模型落地,其中克服了很多問題,讓氣象專家實測驗證模型結果,他們沒有理由否認AI方法的先進性。”如上人士表示。
氣象大模型的打造成為一個實證,華為云不僅能有意愿打造行業大模型,并且有將其付諸實踐的工具和能力。對應華為盤古大模型,L0是科學計算基礎大模型,L1是氣象行業大模型,L2就是氣象預測等應用。
大模型回答了“一個模型能否解決通用問題”以及“模型本身是否有價值”的關鍵問題,但是要想真正構建完整的業務鏈條,還需要從商業化層面跟進,為了加速和簡化行業大模型從開發到落地,華為云提供了盤古大模型工程化平臺,覆蓋了數據處理、模型訓練和應用開發三大環節。
在數據平臺方面,相比傳統標注平臺(能提供的例如自動數據清洗等功能),華為云數據工程平臺專門為SFT訓練提供了基于模板的Prompt在線輔助撰寫功能,為RLHF訓練提供了多人Rank在線標注和任務分撥功能;對比離線進行這兩種任務,實測效率可提升3倍。
有了高質量的數據如何產生高質量的模型,還需要確保模型開發的過程準確無誤,在模型訓練方面,大模型開發套件提供了自監督預訓練,有監督SFT訓練,強化學習訓練3種工作流,覆蓋了從數據集創建,超參配置到模型訓練、評估、部署的全流程,凝結了大模型專家的實踐經驗,把復雜的大模型開發,流程化,標準化,簡單化,幫助行業用戶一鍵啟動,一站式開發。
之后,開發好的盤古大模型要想在行業發揮作用,離不開下游應用,在模型開發方面,華為云提供盤古應用開發套件,將傳統軟件工程與大模型相結合,提供多種API和工具可調用,支撐企業分鐘級構建大模型原生應用。
例如,基于盤古語言大模型和視覺大模型的基礎能力,以及盤古大模型工程化平臺,在學習了超過20萬條政務數據,包括政策文件、政務百科等公開政務知識,以及12345熱線場景等專有政務知識后,深圳市福田區政府打造了具備豐富法律法規、辦事流程等行業知識的福田政務大模型。
據了解,參照GPT-3完成一個千億行業模型端到端開發,基于盤古大模型工程化平臺,開發大模型從過去需要5個月縮短到現在1個月,整體速度提升5倍。
AI世界的另一極
人工智能已經成為國家戰略競爭焦點,AGI(通用人工智能)可能改變甚至顛覆世界運轉的原有邏輯,國家層面強調:“人工智能是引領這一輪科技革命和產業變革的戰略性技術,具有溢出帶動性很強的‘頭雁’效應。”
人工智能與實體經濟的結合,行業大模型扮演著重要作用,行業重塑、技術扎根、開放同飛,是華為云的差異化優勢。
行業大模型以行業數據和know-how為重中之重,華為云AI的優勢在于,在各行業已有數百個項目,基于對行業的深入理解,沉淀行業核心know-how,華為云盤古大模型能夠更好地落地在行業客戶的主業務場景。
盤古大模型已經學習10多個行業公開數據,涵蓋金融、政務、氣象、醫療、健康、互聯網、教育、汽車、零售等。華為云和伙伴還聯合打造了工業、供熱、政務、煤礦、教育、電力、公路7大行業aPaaS,為盤古大模型了構建最深厚的行業積累。
墻高基下,雖得必失,人工智能產業需要從最底層夯實基礎,張平安提到,其他人都可以依賴行業最成熟的AI算力和AI生態,但是華為只能依靠自己的AI根技術。
中國工程院院士鄭緯民此前表示,大模型是新型關鍵基礎設施的底座之一,大模型的競爭也是國家科技戰略的競爭,中國一定要布局全棧自主創新的大模型產品,同時要構建國產化算力,也要解決算力能耗與國家“雙碳”戰略的平衡。
為此,華為構建了最深的AI堆棧根技術,在最底層構建了以鯤鵬和昇騰為基礎的AI算力云平臺,構建了昇騰的計算引擎CANN、AI框架MindSpore,以及AI開發平臺ModelArts,為大模型開發和運行提供分布式并行加速,算子和編譯優化,集群級通信優化等關鍵能力。
“現在基于華為的AI堆棧,我們的大模型訓練效能不僅不落后,在大模型場景下我們的訓練效能是業界主流GPU的1.1倍”,他說。
與此同時,華為云提供了易用可靠的大模型工具套件、匯聚海量多行業場景API的開天aPaaS,以及包含豐富優質課程和技術認證的大模型專屬社區,幫助開發者一站式完成入門到專家。
華為也積累了高密度的大模型人才:盤古團隊中大概50%以上是博士,還有很多名“天才少年”,上述氣象大模型的核心成員便是之一,大模型在訓練過程中,會遭遇各種各樣的困難和挑戰,一個技術過硬、敢于創新的團隊,才是大模型能夠練成的核心保障,也是華為對外輸出大模型能力的依托。
在安全方面,華為云提供公有云、混合云、大模型專區三種模式,保障安全部署;建立長效機制,確保大模型安全合規:包括數據集來源和使用合規、數據全生命周期安全、構建完整的數據標注以及審核機制、構建模型合規使用政策、確保模型使用邊界。
AI大模型時代,面臨自下而上自主創新的宏大命題,華為正在打造世界AI另一極。
關鍵詞: