圖片來源：視覺中國

藍(lán)鯨新聞4月9日訊（記者 朱俊熹）開源霸主Meta近來陷入了尷尬的境地。當(dāng)?shù)貢r間4月5日，Meta發(fā)布了全新的Llama 4系列模型。但很快便因為實測效果不及預(yù)期，而遭遇“刷榜”爭議。

Meta此次率先推出了Llama 4系列中的Scout（偵察者）、Maverick（獨行俠）兩款模型，并預(yù)覽了仍在訓(xùn)練中的Behemoth（巨獸）模型。據(jù)其介紹，Llama 4 Maverick在LM Arena評測榜中位居第二，超越了ChatGPT-4o、DeepSeek-V3等領(lǐng)先模型，僅次于谷歌的Gemini 2.5 pro。

圖片來源：Meta

但引起注意的是，Meta在公告的注腳處提到，該項測試使用的是針對對話優(yōu)化版的Llama 4 Maverick模型。4月8日，LM Arena平臺在社交媒體X上回應(yīng)稱，“Meta對我們政策的理解與我們對模型提供商的預(yù)期不符。Meta本應(yīng)更明確地說明‘Llama-4-Maverick-03-26-Experimental’是一個針對人類偏好優(yōu)化的定制模型?！盠M Arena表示，將會添加Maverick的公開版本，并會對排行榜政策進(jìn)行更新，以強(qiáng)化公平、可重復(fù)評估性。

LM Arena模型基準(zhǔn)測試平臺由加州大學(xué)伯克利分校SkyLab的研究人員創(chuàng)建。有別于其他評測集，它采用的是眾包的投票方式。在該平臺上，用戶可以向兩個匿名的AI對話助手提出任何問題，投票選出認(rèn)為更優(yōu)的答案，以此評選得到最佳的大模型。

在關(guān)于Llama 4的回應(yīng)中，LM Arena提到，初步分析顯示，風(fēng)格和模型回應(yīng)的語氣是影響排名的重要因素，正在進(jìn)行更深入的分析，表情符號的使用或許也會產(chǎn)生影響。一位國內(nèi)大廠大模型從業(yè)者告訴藍(lán)鯨新聞，用戶在評測時，會偏向于選擇回答更長的、活潑的、會夸人的模型。

根據(jù)LM Arena公布的評選過程不難發(fā)現(xiàn)，Llama 4 Maverick實驗版在回答時，篇幅要顯著長于其他模型，語氣更貼近真人對話，還會積極使用表情符號。但有使用者發(fā)現(xiàn)，當(dāng)詢問同樣的問題時，用于LM Arena測試的實驗版和部署在其他平臺上的版本所生成的回復(fù)風(fēng)格存在較大出入。

圖片來源：Llama 4 Maverick實驗版生成的回復(fù)

北京理工大學(xué)研究語言模型評測與推理方向的博士生袁沛文對藍(lán)鯨新聞表示，通過LM Arena所采用的眾包形式，盡管大眾的提問足夠有泛化性，是模型訓(xùn)練時不可知的，但依然存在“刷榜”風(fēng)險。LM Arena平臺主打盲測，但可以借助各種隱蔽的方式實現(xiàn)去匿名化，例如直接詢問它是哪個模型、通過一些后門特征來判別模型，或通過水印技術(shù)檢測出自家模型。在去匿名化之后，大模型廠商就可以通過海量IP來為自己的模型刷票。

除了眾包投票外，業(yè)內(nèi)也會采用其他的大模型評測方式，但當(dāng)下都難以做到完全的客觀、全面。據(jù)袁沛文介紹，最為廣泛采用的評測形式是大模型Benchmark（基準(zhǔn)測試），即人類專家圍繞某項任務(wù)來出題，讓模型進(jìn)行回答，看是否與人類期望相同。由于模型從互聯(lián)網(wǎng)平臺上獲取訓(xùn)練語料，難免會摻雜一些基準(zhǔn)測試。負(fù)責(zé)任的開發(fā)者會主動從訓(xùn)練集中過濾這部分測試集，也有人可能會采取相反的做法，甚至可能在后訓(xùn)練階段讓模型在一些主流基準(zhǔn)測試上做強(qiáng)化，使其測試表現(xiàn)明顯虛高，“就像訓(xùn)練時背過了題目和答案”。

此前Meta首席AI科學(xué)家、圖靈獎得主楊立昆還參與發(fā)起了一項評測榜單LiveBench，被稱作“最難作弊”的榜單。LiveBench主打提供具有挑戰(zhàn)性、無污染的基準(zhǔn)測試，每月對問題進(jìn)行更新。袁沛文指出，雖然這能避免模型提前背題，但一個問題在于是否總能收集到足夠多的數(shù)據(jù)實現(xiàn)更新。實際上，LiveBench的更新頻率也越來越慢，除本月的更新外，上一次更新還要追溯到五個月前。此外，一些垂類評測領(lǐng)域也無法被覆蓋，難以知道模型在具體業(yè)務(wù)場景上的能力表現(xiàn)。

“不難發(fā)現(xiàn)，現(xiàn)有的范式都沒法從根本上同時滿足兩個評測領(lǐng)域的核心愿景：一是可信，沒有辦法刷榜；二是可擴(kuò)展，任何評測需求、能力、場景都能被滿足?！痹嫖谋硎尽?/span>

面對“刷榜”質(zhì)疑風(fēng)波，Meta副總裁兼GenAI負(fù)責(zé)人Ahmad Al-Dahle在社交媒體上否認(rèn)了在測試集上進(jìn)行模型訓(xùn)練的說法，“我們絕不會這么做”。據(jù)其說法，用戶感知到的質(zhì)量差異是由于穩(wěn)定性還沒有完全調(diào)整到位。

拋開備受爭議的LM Arena測試，Meta公布的結(jié)果顯示，Llama 4 Maverick在部分基準(zhǔn)測試上表現(xiàn)優(yōu)于GPT-4o、Gemini 2.0 Flash、DeepSeek-V3等模型，但不及更為領(lǐng)先的GPT-4.5、Claude 3.7 Sonnet、Gemini 2.5 Pro等。尚未發(fā)布的Llama 4 Behemoth會在以 STEM 為重點的基準(zhǔn)測試上對標(biāo)這些頂尖模型。此外，目前Meta公布的模型中還沒有類似OpenAI o1、DeepSeek-R1的推理模型。

自DeepSeek年初引發(fā)海內(nèi)外熱議以來，對此前在開源領(lǐng)域占據(jù)領(lǐng)先的Meta同樣造成巨大沖擊。據(jù)媒體此前報道，Meta為此組建了多個專門的研究小組，對DeepSeek進(jìn)行分析并希望借此改進(jìn)Llama模型。

Meta表示，全新的Llama 4模型是其首批使用MoE（混合專家）架構(gòu)的模型。DeepSeek-V3、阿里Qwen2.5-Max等模型也是基于MoE架構(gòu)，在處理單個token時只激活模型中的部分參數(shù)，以實現(xiàn)更高的計算效率。

硅谷科技媒體The Information引述知情人士說法稱，在過去一年多的時間里，Meta的研究人員一直在激烈地爭論，究竟要將Llama 4變成MoE模型還是延續(xù)一直采用的Dense模型。對Meta來說，做出改變技術(shù)方案的決定并不容易。