【消費電子實驗室-2025/8/11】據《科創板日報》報道,華為將于 8 月 12 日在 2025 金融 AI 推理應用落地與發展論壇上,發布 AI 推理領域的突破性技術成果。據透露,這項成果或能降低中國 AI 推理對 HBM(高帶寬內存)技術的依賴,提升國內 AI 大模型推理性能,完善中國 AI 推理生態的關鍵部分。 消費電子實驗室注意到,華為在 AI 推理領域的技術突破已有先例。2025 年 3 月,北京大學聯合華為發布了 DeepSeek 全棧開源推理方案,該方案基于北大自研 SCOW 算力平臺系統和鶴思調度系統,整合了 DeepSeek、openEuler、MindSpore 與 vLLM / RAY 等社區開源組件,實現了華為昇騰上的 DeepSeek 高效推理。 在性能方面,華為昇騰已實現多項突破。例如 CloudMatrix 384 超節點部署 DeepSeek V3 / R1 時,在 50ms 時延約束下單卡 Decode 吞吐突破 1920 Tokens / s;Atlas 800I A2 推理服務器在 100ms 時延約束下單卡吞吐達到 808 Tokens / s。 科大訊飛與華為的合作也取得了顯著成果,雙方率先實現了國產算力上 MoE 模型的大規模跨節點專家并行集群推理,使推理吞吐提升 3.2 倍,端到端時延降低 50%。 |
網站介紹 廣告業務 歡迎投稿 招聘信息 聯系我們 友情鏈接 法律顧問 網站地圖
CopyRight 2012消費電子實驗室 版權所有 京ICP備12048044號-4號
電話:13701384402 郵編:100040 郵箱:BICQ6688@QQ.COM