導(dǎo)讀:DeepSeek 正式發(fā)布了 DeepSeek-V3.2-Exp 模型,這是一個實驗性(Experimental)的版本。寒武紀(jì)也宣布,已同步實現(xiàn)對深度求索公司最新模型 DeepSeek-V3.2-Exp 的適配,并開源大模型推理引擎 vLLM-MLU 源代碼。
9 月 30 日消息,DeepSeek 正式發(fā)布了 DeepSeek-V3.2-Exp 模型,這是一個實驗性(Experimental)的版本。寒武紀(jì)也宣布,已同步實現(xiàn)對深度求索公司最新模型 DeepSeek-V3.2-Exp 的適配,并開源大模型推理引擎 vLLM-MLU 源代碼。
寒武紀(jì)稱,一直高度重視大模型軟件生態(tài)建設(shè),支持以 DeepSeek 為代表的所有主流開源大模型。借助于長期活躍的生態(tài)建設(shè)和技術(shù)積累,寒武紀(jì)得以快速實現(xiàn)對 DeepSeek-V3.2-Exp 這一全新實驗性模型架構(gòu)的 day 0 適配和優(yōu)化。
針對本次的 DeepSeek-V3.2-Exp 新模型架構(gòu),寒武紀(jì)通過 Triton 算子開發(fā)實現(xiàn)了快速適配,利用 BangC 融合算子開發(fā)實現(xiàn)了極致性能優(yōu)化,并基于計算與通信的并行策略,再次達成了業(yè)界領(lǐng)先的計算效率水平。依托 DeepSeek-V3.2-Exp 帶來的全新 DeepSeek Sparse Attention 機制,疊加寒武紀(jì)的極致計算效率,可大幅降低長序列場景下的訓(xùn)推成本,共同為客戶提供極具競爭力的軟硬件解決方案。