新榜訊 3 月 10 日,字節(jié)豆包大模型團(tuán)隊(duì)正式宣布開源一項(xiàng)針對(duì) MoE(混合專家模型)架構(gòu)的關(guān)鍵優(yōu)化技術(shù)。此技術(shù)能夠使大模型訓(xùn)練效率提高 1.7 倍,成本降低 40%。據(jù)了解,該技術(shù)已在字節(jié)的萬(wàn)卡集群訓(xùn)練中得到了實(shí)際應(yīng)用,累計(jì)節(jié)省數(shù)百萬(wàn) GPU 小時(shí)的訓(xùn)練算力。
掃描二維碼
手機(jī)瀏覽
字節(jié)對(duì)MoE模型訓(xùn)練成本再砍一刀 成本可節(jié)省40%
分享文章鏈接
相似推薦

螞蟻集團(tuán)推出新款MoE大語(yǔ)言模型 使用國(guó)產(chǎn)AI芯片訓(xùn)練其性能與完全使用英偉達(dá)芯片、同規(guī)模稠密模型及MoE模型相當(dāng)
新榜訊 3 月 24 日電,近期,螞蟻集團(tuán) Ling 團(tuán)隊(duì)發(fā)布了一篇技術(shù)成果論文。

消息稱螞蟻集團(tuán)AI訓(xùn)練取得突破:使用國(guó)產(chǎn)芯片,成本降低20%
新榜訊 據(jù)外媒報(bào)道,知情者透露,螞蟻集團(tuán)正在運(yùn)用中國(guó)制造的半導(dǎo)體來(lái)開展 AI 模型訓(xùn)練技術(shù)的開發(fā)工作,此舉預(yù)計(jì)能讓成本降低 20%。

馬斯克首次披露Grok 3訓(xùn)練成本:20萬(wàn)塊英偉達(dá)GPU
新榜訊 馬斯克旗下的 xAI 公司日前正式推出新一代大模型 Grok 3 。