【消費電子實驗室-2023/6/6】在近日舉行的世界智能科技創新合作峰會上,國家超算天津中心發布了天河百億億級智能計算開放創新平臺和國產中文大模型——天河天元。國家超級計算天津中心黨組書記、應用研發首席科學家孟祥飛說,國家超算天河團隊與信創海河實驗室、天津大學、國防科大團隊,共同致力于打造國產超級算力和智能算力底座,構建高標準大規模的中文數據集,通過國產中文大模型的研發和設計來支撐智能科技的創新。 眾所周知,中文大語言模型的數據集非常稀缺。國家超算天津中心搜集整理了網頁數據、各種開源訓練數據、中文小說數據、古文數據、百科數據、新聞數據,以及專業領域的中醫、醫藥、問診、法律等多種數據集,訓練數據集總token數達到350B,訓練打造了自己的中文語言大模型——天河天元大模型。 在算力中,超級算力應該是算力當中的“戰斗機”,是最強大的算力存在。事實上,每一次超級計算機的升級換代,都經歷了從底層的高性能計算芯片升級、高速互聯網絡升級,再到基礎操作軟件的整體性升級換代,才能帶來一代新的超級計算機,而這也代表著在信息技術的創新能力和創新水平的新革命。 超級計算也被譽為大國重器,在這個體系當中天河應該成為中國超級計算發展的一個代表。孟祥飛說,過去10年中,團隊不斷挑戰著世界算力速度的極限,從千萬億次到億億次,再到今天的百億億次的突破,正是這樣一個強大的算力,也使得天津成為全國乃至世界超級算力的重鎮,天津為全國貢獻了超過20%以上的超級算力。來自全國8000多個科研機構、企業、政府部門的研發、設計依托天河超算進行技術創新和產業發展。 “天河百億億級的智能計算開放創新平臺”正是依托了天河超級計算系統。超級計算的傳統強項是高精度的科學工程計算,比如預報天氣,需經過成千上萬次的精確迭代計算以后,得出一個正確的結果,“預報的結果要可信,要有嚴格的誤差控制,因此必須保持高精度計算”。 而眼下正在快速興起的智能計算,特別是大模型帶來的智能計算需求,對高精度計算的要求并不強烈。比如文本生成等,主要做的是特征提取、邏輯判斷,就帶來了一個新的計算范式的需求,即“低精度智能計算”。 于是在新一代超級計算機中,天河團隊首次提出了柔性體系結構,就是在支持高性能計算、超級計算、科學工程計算的同時,也適配智能計算,支持世界領先的雙精度、單精度、半精度融合計算輸出能力。天河E級智能計算開放創新平臺將帶來突破百億億次的跨模態的超級計算算力,支撐傳統的科學工程計算,并服務智能混合計算,打造全方位的算力賦能創新和數字經濟高質量發展載體。 行業大模型就是在基礎大模型上,進一步融合行業數據、知識以及專家經驗,提升大模型對行業應用的適配性。大模型“預訓練+精調”等模式帶來了新的標準化AI研發范式,實現AI模型在更統一、簡單的方式下規模化生產。這將會帶來一場通用人工智能為驅動力的“AI革命”。 用大模型作為產業智能化升級基座,加之專業數據集,將打造出更貼合行業領域的智能化高水平“專家”,為行業賦能,推動行業升級,提升領域創新效率、行業生產效率,成為人工智能驅動新一輪科技革命和產業變革的巨大力量。孟祥飛期待,讓國產創新基礎上的“天河E級超智算力開放平臺”“天河天元大模型”賦能百業、賦能天津、賦能中國高質量發展。 |
網站介紹 廣告業務 歡迎投稿 招聘信息 聯系我們 友情鏈接 法律顧問 網站地圖
CopyRight 2012消費電子實驗室 版權所有 京ICP備12048044號-4號
電話:13701384402 郵編:100040 郵箱:BICQ6688@QQ.COM