新榜訊 2 月 12 日消息,據(jù)字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)透露,其 Foundation 團(tuán)隊(duì)于近期推出 UltraMem,這是一種能將計(jì)算和參數(shù)解耦的稀疏模型架構(gòu),在確保模型效果的基礎(chǔ)上成功化解了推理的訪存難題。據(jù)悉,該架構(gòu)有力地攻克了 MoE 推理時(shí)居高不下的訪存問題,推理速度相較 MoE 架構(gòu)加快 2 至 6 倍,推理成本最多可降低 83%。
掃描二維碼
手機(jī)瀏覽
字節(jié)豆包大模型團(tuán)隊(duì)提出稀疏模型架構(gòu)UltraMem
分享文章鏈接
相似推薦
跳動(dòng).jpeg)
字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)正式開源首個(gè)多語言類SWE數(shù)據(jù)集
新榜訊 4 月 10 日,字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)重磅開源首個(gè)多語言類 SWE 數(shù)據(jù)集——Multi-SWE-bench。

豆包大模型團(tuán)隊(duì)開源基準(zhǔn)測試集SuperGPQA
新榜訊 3 月 4 日,豆包大模型團(tuán)隊(duì)于近日開源SuperGPQA。
跳動(dòng).jpeg)
字節(jié)跳動(dòng)豆包小范圍測試深度思考模型,接入的不是DeepSeek
新榜訊 字節(jié)跳動(dòng)旗下的 AI 助手豆包正在開展小范圍的深度思考模型測試,所接入的并非 DeepSeek 模型。