開(kāi)源炸場(chǎng)！Qwen3-Next 80B，每次僅激活約3B；訓(xùn)練成本約1/10，32K以上長(zhǎng)文本吞吐提升約10倍，原生256K。這才是開(kāi)源最想看的答案。

AI狂飆，閉源大模型堅(jiān)信「越大越強(qiáng)」、「大就是好」。

但一只80B的開(kāi)源「小鋼炮」卻給了另一個(gè)答案：Qwen3-Next。

它用極稀疏MoE與混合注意力，把單次激活壓到≈3B，訓(xùn)練成本約1/10、32K+長(zhǎng)上下文、推理吞吐≈10×，在多項(xiàng)推理與長(zhǎng)文場(chǎng)景逼近甚至反超閉源競(jìng)品。

小體量、低成本，卻能硬剛巨頭——這才是開(kāi)源最想看的答案。

80B小體量，憑什么挑戰(zhàn)235B巨頭？

Qwen3-Next的混合架構(gòu)。采用Gated DeltaNet+Gated Attention的混合注意力與高稀疏MoE，并通過(guò)zero-centered與weight-decayed LayerNorm等穩(wěn)定化手段，提升大規(guī)模訓(xùn)練穩(wěn)定性

極致稀疏MoE：512專家只激活3B

閉源大模型的常見(jiàn)邏輯是「越大越強(qiáng)」：參數(shù)從百億到千億一路狂飆，成本和門(mén)檻也被推到極高。

但Qwen3-Next給出了另一種答案——它只有80B總參數(shù)，卻通過(guò)極致稀疏的MoE 架構(gòu)，把「小體量」貫徹到了極致。

采用極稀疏MoE（1:50）：512專家中每個(gè)token僅激活10個(gè)專家+1個(gè)共享專家，激活參數(shù)≈3B（約3.75%）

這種「按需激活」的設(shè)計(jì)，不僅讓計(jì)算資源利用率最大化，也在官方評(píng)測(cè)中跑出了接近235B旗艦?zāi)Ｐ?/strong>的表現(xiàn)。