斯坦福大學(xué)“急了”

出品｜虎嗅科技組

作者｜余楊

編輯｜苗正卿

頭圖｜視覺(jué)中國(guó)

6月4日消息，斯坦福大學(xué)AI團(tuán)隊(duì)反過(guò)來(lái)學(xué)習(xí)國(guó)內(nèi)AI明星公司面壁智能的開(kāi)源成果MiniCPM模型，激起了HuggingFace社區(qū)網(wǎng)友的廣泛討論，話題主要集中在：斯坦福大學(xué)AI團(tuán)隊(duì)涉嫌抄襲。

這并不是中國(guó)的大模型第一次在國(guó)外被抄襲。 但此次事涉斯坦福大學(xué)這樣的知名機(jī)構(gòu)，在引發(fā)關(guān)注的同時(shí)，也暴露出AI領(lǐng)域知識(shí)產(chǎn)權(quán)保護(hù)和學(xué)術(shù)誠(chéng)信問(wèn)題。

更值得深思的是， 為何MiniCPM模型吸引了斯坦福的眼球？這是否意味著國(guó)內(nèi)大模型“出圈”了？

此次事件開(kāi)始于斯坦福團(tuán)隊(duì)聲稱 以不到500美元（ 約等于人民幣3650元 ）的成本就能訓(xùn)練出一個(gè)性能超越GPT-4V的SOTA多模態(tài)大模型。 這一聲明迅速吸引了廣泛關(guān)注，但不久后，社區(qū)內(nèi)開(kāi)始出現(xiàn)對(duì)Llama3-V的質(zhì)疑聲，指責(zé)其抄襲了面壁智能的MiniCPM-Llama3-V 2.5。

網(wǎng)友Magic Yang發(fā)現(xiàn)Llama3-V項(xiàng)目中有大量與MiniCPM-Llama3-V 2.5雷同的內(nèi)容，包括模型結(jié)構(gòu)和配置文件高度相似，只是變量名不同。

除了社區(qū)網(wǎng)友列出的證據(jù)外，經(jīng)面壁智能團(tuán)隊(duì)核實(shí)， Llama3-V不但能夠與MiniCPM一樣識(shí)別出“清華簡(jiǎn)”戰(zhàn)國(guó)古文字，并且兩個(gè)模型連做錯(cuò)的樣例都一模一樣。 而這項(xiàng)成果來(lái)自面壁智能團(tuán)隊(duì)對(duì)浩如煙海的清華簡(jiǎn)逐字掃描，再一個(gè)一個(gè)地進(jìn)行數(shù)據(jù)標(biāo)注，經(jīng)歷了數(shù)個(gè)月的努力，才融合進(jìn)模型中的，這進(jìn)一步證實(shí)了Llama3-V模型的抄襲行為。

?

MiniCPM模型到底有什么魔力？

今年2月，面壁智能發(fā)布了20億參數(shù)的開(kāi)源端側(cè)模型MiniCPM，在多個(gè)主流評(píng)測(cè)榜單中，該模型中英文分均超過(guò)Mistral-7B開(kāi)源模型，甚至優(yōu)于Llama 2-13B。

?

這個(gè)名為MiniCPM的開(kāi)源模型的價(jià)值增長(zhǎng)點(diǎn)在哪？

?

3月31日，虎嗅科技組主辦的“2024 AI內(nèi)參會(huì)”上，邀請(qǐng)到了面壁智能CTO曾國(guó)洋，極客邦科技副總裁、TGO鯤鵬會(huì)總經(jīng)理?xiàng)钆首隹汀Ｅc會(huì)者就曾對(duì)開(kāi)源模型的價(jià)值提出疑問(wèn)，即相比其他增量模型，這個(gè)模型有什么優(yōu)勢(shì)呢？

在內(nèi)參會(huì)上，曾國(guó)洋給出的答案是這樣：它是一個(gè)“更高效的模型”，就是在有限的資源內(nèi)去把模型做得更好。

“如果簡(jiǎn)單地將模型參數(shù)規(guī)模做大的話，它確實(shí)會(huì)隨著scaling law出現(xiàn)效果的提升，但它單一維度的提升是低效的。我們?cè)谘芯砍鲆粋€(gè)更優(yōu)化的方法之后，其實(shí)是可以隨著參數(shù)擴(kuò)大，讓模型爆發(fā)出一種更明顯地增長(zhǎng)。”曾國(guó)洋說(shuō)。

也就是說(shuō)，研發(fā)人員可以通過(guò)它在固定資源預(yù)算中，如額定的GPU數(shù)量、訓(xùn)練數(shù)據(jù)量或是訓(xùn)練時(shí)長(zhǎng)下，匹配模型的最佳大小，且無(wú)需經(jīng)歷昂貴的試錯(cuò)。 這無(wú)疑從很大程度上提高了研發(fā)效率，我們猜測(cè)，這或許就是開(kāi)源模型Llama3-V反被抄襲的原因所在。

?

對(duì)此事，面壁智能CEO李大海表示遺憾，并呼吁共建開(kāi)放、合作、有信任的社區(qū)環(huán)境。

目前，Llama3-V模型已從Hugging Face等開(kāi)源平臺(tái)上下架。 在社交媒體上，Llama3-V團(tuán)隊(duì)的兩位作者森德哈斯·沙瑪（Siddharth Sharma）和阿克沙·加格（Aksh Garg）正式向MiniCPM團(tuán)隊(duì)道歉。

?

斯坦福大學(xué)是世界頂尖的學(xué)術(shù)機(jī)構(gòu)之一，此次事件使其聲譽(yù)面臨拷問(wèn)，尤其是在AI研究領(lǐng)域，未來(lái)的學(xué)術(shù)成果的審查想必會(huì)更加嚴(yán)格。

相應(yīng)地，面壁智能因禍得福，在國(guó)際關(guān)注度陡增的背景下，其商業(yè)價(jià)值也在聚光燈下無(wú)限放大，也就意味著更多合作伙伴和投資者。而AI領(lǐng)域的知識(shí)產(chǎn)權(quán)保護(hù)和學(xué)術(shù)誠(chéng)信問(wèn)題則任重道遠(yuǎn)。