作者：賴文昕

編輯：郭思、陳彩嫻

說起擴散模型生成的東西，你會立刻想到什么？

是OpenAI的經(jīng)典牛油果椅子？

是英偉達Magic3D生成的藍色箭毒蛙？

還是斯坦福大學(xué)和微軟Folding Diffusion生成的蛋白質(zhì)結(jié)構(gòu)？

這些都是擴散模型的魔法展示，而近期，關(guān)于擴散模型的研究又進行了一次全新的升級。

由新加坡國立大學(xué)尤洋團隊、加州大學(xué)伯克利分校以及Meta AI Research聯(lián)手發(fā)布的一項名為“Neural Network Diffusion”的研究，已經(jīng)實現(xiàn)了利用擴散模型來生成神經(jīng)網(wǎng)絡(luò)，這意味著擴散模型不再局限于生成表面的產(chǎn)品或物體結(jié)構(gòu)，而是直接進行底層革新，開始拿神經(jīng)網(wǎng)絡(luò)做文章了，頗有種用魔法來打敗魔法的意味。

論文地址：https://arxiv.org/pdf/2402.13144.pdf

該研究一出，迅速在國際AI社區(qū)引起了熱烈反響，登上了各大模型開發(fā)平臺的熱搜榜單，在業(yè)界內(nèi)收獲了極高贊譽。

這項工作中，研究團隊創(chuàng)新性地應(yīng)用擴散模型來生成高性能神經(jīng)網(wǎng)絡(luò)的參數(shù)配置。他們結(jié)合了自動編碼器框架和標準潛在擴散模型（LDM）設(shè)計了一種新穎的方法，即“參數(shù)擴散”（p-diff），通過訓(xùn)練LDM從隨機噪聲中合成有效的神經(jīng)網(wǎng)絡(luò)參數(shù)latent representations。

此方法具有以下特點：1）它始終達到與訓(xùn)練數(shù)據(jù)相似的性能，甚至能在多數(shù)據(jù)集和架構(gòu)中增強性能；2）生成的模型與訓(xùn)練的模型有很大的不同，這表明此方法可以合成新參數(shù)，而不是記憶訓(xùn)練樣本。

擴散模型如何生成“神經(jīng)網(wǎng)絡(luò)”？

盡管擴散模型已經(jīng)在視覺內(nèi)容生成任務(wù)上取得了顯著成就，然而在其他眾多領(lǐng)域的應(yīng)用潛力仍有待深入挖掘。

在此之前，學(xué)術(shù)界和工業(yè)界的研究重心主要在于如何通過傳統(tǒng)的學(xué)習(xí)策略來獲得針對特定任務(wù)表現(xiàn)優(yōu)異的神經(jīng)網(wǎng)絡(luò)參數(shù)，而不是直接利用擴散模型進行參數(shù)生成。學(xué)者們普遍從統(tǒng)計學(xué)先驗和概率模型的角度出發(fā)，例如探索隨機神經(jīng)網(wǎng)絡(luò)架構(gòu)及貝葉斯神經(jīng)網(wǎng)絡(luò)方法，以優(yōu)化模型性能。

而在深度學(xué)習(xí)這個大框架下，雖然監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)一直是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的核心機制，并且在很多實際應(yīng)用中取得了巨大成功。但為了更好地展示擴散模型在生成高效能模型架構(gòu)與參數(shù)方面的卓越能力，研究團隊大膽地將目光投向了尚未被充分探索的領(lǐng)域，嘗試利用擴散模型來創(chuàng)造并優(yōu)化高性能、結(jié)構(gòu)新穎的神經(jīng)網(wǎng)絡(luò)參數(shù)。

簡而言之，“Neural Network Diffusion”項目所采用的是一種名為“神經(jīng)網(wǎng)絡(luò)擴散”的方法（p-diff，p代表參數(shù)），使用標準的LDM來合成新參數(shù)。

該團隊經(jīng)過深入研究神經(jīng)網(wǎng)絡(luò)的訓(xùn)練機制以及擴散模型的工作原理后，敏銳地洞察到：基于擴散原理的圖像生成過程與隨機梯度下降（SGD）等常用學(xué)習(xí)方法之間存在著兩種相似性。這意味著擴散模型或許能夠借鑒并革新現(xiàn)有的訓(xùn)練范式，從而為構(gòu)建更加智能且高效的神經(jīng)網(wǎng)絡(luò)提供新的視角與工具。

首先，神經(jīng)網(wǎng)絡(luò)訓(xùn)練和擴散模型的逆過程都可以被視為從隨機噪聲/初始化到特定分布的轉(zhuǎn)變。其次，高質(zhì)量圖像和高性能參數(shù)也可以通過多次噪聲的添加來降級為簡單分布，例如高斯分布。

基于這些觀察，研究團隊引入了一種新的參數(shù)生成方法，稱之為“神經(jīng)網(wǎng)絡(luò)擴散”（p-diff，p代表參數(shù)），它采用標準的LDM來合成一組新的參數(shù)。

擴散模型能夠?qū)⒔o定的隨機分布轉(zhuǎn)換為特定的隨機分布，因此研究人員使用了一個自動編碼器和一個標準的LDM來學(xué)習(xí)高性能參數(shù)的分布。

該研究方法整合了參數(shù)自動編碼器和擴散模型來實現(xiàn)神經(jīng)網(wǎng)絡(luò)參數(shù)的創(chuàng)新生成。首先，研究人員選取一組經(jīng)過充分訓(xùn)練且表現(xiàn)出色的模型作為基礎(chǔ)，從中抽取一部分關(guān)鍵或有代表性的參數(shù)子集，并將這些多維結(jié)構(gòu)的參數(shù)展平為一維向量形式。

接下來，他們構(gòu)建了一個參數(shù)自動編碼器架構(gòu)，其中包含一個編碼器模塊，用于從所提取的一維參數(shù)向量中學(xué)習(xí)潛在的低維表示（latent representations），這一過程能夠捕捉到原有參數(shù)的關(guān)鍵特征和模式。同時配備一個解碼器模塊，其任務(wù)是根據(jù)這些潛在表示恢復(fù)出原始的高維參數(shù)結(jié)構(gòu)。

在此基礎(chǔ)上，團隊進一步訓(xùn)練一個標準的擴散模型（LDM，Latent Diffusion Model）以適應(yīng)參數(shù)生成場景，使其能夠在隨機噪聲輸入下逐步迭代并生成與目標參數(shù)對應(yīng)的高質(zhì)量潛在表示。

訓(xùn)練完成后，研究人員利用一個逆擴散過程（p-diffusion process）來生成新的神經(jīng)網(wǎng)絡(luò)參數(shù)。這個過程始于一個隨機噪聲向量，通過逆向遞歸地應(yīng)用擴散模型的反變換，將其一步步轉(zhuǎn)化為有意義的潛在表示。最后，將這些合成的潛在表示輸入訓(xùn)練好的解碼器中，解碼器會將其轉(zhuǎn)換為全新的、有望保持高性能的神經(jīng)網(wǎng)絡(luò)參數(shù)。這種方法不僅拓展了擴散模型的應(yīng)用領(lǐng)域，還可能挖掘出之前未被發(fā)現(xiàn)的有效網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)配置。

訓(xùn)練后，研究團隊利用 p-diff 通過以下鏈條生成新的參數(shù)：隨機噪聲 → 逆過程 → 訓(xùn)練好的解碼器 → 生成的參數(shù)。

為了驗證該方法的有效性，研究團隊緊接著還在MNIST、CIFAR-10/100、ImageNet-1K、STL-10等廣泛的數(shù)據(jù)集上進行了評估實驗，實驗主要在神經(jīng)網(wǎng)絡(luò)ResNet-18/50、ViT-Tiny/Base 和 onvNeXt-T/B 上進行。

研究團隊詳細闡述了具體的訓(xùn)練細節(jié)。在實驗中，自動編碼器和LDM均包含了一個基于 4 層 1D CNN 的編碼器和解碼器。研究人員默認收集所有架構(gòu)的200 個訓(xùn)練數(shù)據(jù)。 在神經(jīng)網(wǎng)絡(luò) ResNet-18/50 上，他們從頭開始訓(xùn)練模型。到了最后一個 epoch中，他們則繼續(xù)訓(xùn)練最后兩個歸一化層并修復(fù)其他參數(shù)。在大多數(shù)情況下，自動編碼器和潛在擴散訓(xùn)練可以在單個英偉達的 A100 40G GPU 上于 1~3 小時內(nèi)完成。

實驗過后，研究人員發(fā)現(xiàn)，在大多數(shù)情況下，p-diff的方法取得了與兩個基線相似或更好的結(jié)果，這表明了此方法可以有效地學(xué)習(xí)高性能參數(shù)的分布，并從隨機噪聲中生成優(yōu)異的模型。而且，該方法在各種數(shù)據(jù)集上始終表現(xiàn)良好，也證明了它具有良好的通用性。

那么如何進一步確認p-diff是否真正可以合成新參數(shù)，而不只是在記憶訓(xùn)練樣本呢？

為了驗證p-diff能夠生成一些與原始模型表現(xiàn)不同的新參數(shù)，研究團隊設(shè)計了另一個實驗，通過比較原始模型、添加噪聲模型、微調(diào)模型和 p-diff 模型的預(yù)測和可視化來研究它們之間的差異。

他們進行了四組對比：1）原始模型之間的相似性； 2）p-diff模型之間的相似性； 3）原始模型和p-diff模型之間的相似性； 4) 原始模型和 p-diff 模型之間的最大相似度（最近鄰）。

可以發(fā)現(xiàn)，在不同情況下，生成的模型之間的差異遠大于原始模型之間的差異。 另外，即使是原始模型和生成模型之間的最大相似度，也低于原始模型之間的相似度。這表明，p-diff 的確可以生成與其訓(xùn)練數(shù)據(jù)表現(xiàn)不同的新參數(shù)。

結(jié)語

Sora的平地一聲驚雷，讓本就火爆的文生圖、文生視頻的領(lǐng)域又增添了好幾分熱度，也讓在圖像和視頻生成方面取得了顯著成功的擴散模型獲得了更多的關(guān)注。

而無論是Sora、DALL·E 、Midjourney，還是Stable Diffusion等已經(jīng)擁有眾多用戶的模型，它們背后的魔法都是擴散模型。在已有的例子中，擴散模型總是被運用在生成圖片或視頻上，而這一次，擴散模型居然直接滲入更深層，直接生成神經(jīng)網(wǎng)絡(luò)，這堪稱機器學(xué)習(xí)中“用魔法打敗魔法”的神操作。

今日，研究團隊中的三作 Zhuang Liu 還在社交媒體上答復(fù)了網(wǎng)友的疑惑，解釋了“Neural Network Diffusion”和Sora 負責人 William Peebles 此前發(fā)布的研究“Learning to Learn with Generative Models of Neural Network Checkpoints”之間的區(qū)別：

William Peebles的研究工作是逐步生成參數(shù)，更像是優(yōu)化器，將先前的檢查點作為輸入。 “Neural Network Diffusion”則是直接生成整套參數(shù)，無需之前的權(quán)重作為輸入。

盡管研究團隊目前尚未解決內(nèi)存限制、結(jié)構(gòu)設(shè)計效率和性能穩(wěn)定性等問題，但使用擴散模型生成神經(jīng)網(wǎng)絡(luò)的創(chuàng)新嘗試，讓大模型領(lǐng)域的技術(shù)邊界又向外開拓了一面。

擴散模型未來將會有何發(fā)展，讓我們拭目以待。

雷峰網(wǎng) (公眾號：雷峰網(wǎng)) AI 科技評論將持續(xù)關(guān)注大模型領(lǐng)域動態(tài)，歡迎添加anna042023，交流認知，互通有無

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見 轉(zhuǎn)載須知 。