吳恩達(dá)專訪LeCun：即便在神經(jīng)網(wǎng)絡(luò)的寒冬，我也堅(jiān)信它終會(huì)重回公眾視野

|

時(shí)隔半年，終于等來(lái)了 Yann LeCun 回憶殺視頻。

去年 8 月時(shí)，隨著 deeplearning.ai 深度學(xué)習(xí)教學(xué)網(wǎng)站和系列課程的發(fā)布，吳恩達(dá)也在「the Heros of Deep Learning」系列視頻中采訪了 7 位深度學(xué)習(xí)界重要人物，其中包括「深度學(xué)習(xí)教父」Geoffery Hinton、「GANs 之父」Ian Goodfellow、「深度學(xué)習(xí)三駕馬車」中另一位 Yoshua Bengio 、UC 伯克利教授 Pieter Abbeel 、百度研究院院長(zhǎng)林元慶 、「深度學(xué)習(xí)網(wǎng)紅」Andrej Karpathy、蘋果機(jī)器學(xué)習(xí)研發(fā)總監(jiān) Ruslan Salakhutdinov。我們也聽譯了采訪林元慶和 Ian Goodfellow 的視頻。

不過(guò)令人奇怪的是，當(dāng)時(shí)的這組采訪對(duì)象中居然缺了絕對(duì)不可忽視的?Yann LeCun。現(xiàn)在吳恩達(dá)終于為大家補(bǔ)上了這個(gè)遺憾，和 Yann LeCun 一起回憶了曾經(jīng)和深度學(xué)習(xí)一起經(jīng)歷的風(fēng)風(fēng)雨雨。AI 科技評(píng)論把采訪聽譯如下。

吳恩達(dá)：Yann 你好，很久以來(lái)你都是深度學(xué)習(xí)領(lǐng)域的領(lǐng)軍人物，謝謝你參與這次采訪。

Yann LeCun：謝謝你采訪我。

吳恩達(dá)：你研究神經(jīng)網(wǎng)絡(luò)已經(jīng)有很長(zhǎng)的時(shí)間了，我想聽聽你的個(gè)人經(jīng)歷，你是如何開始研究 AI 、如何開始研究神經(jīng)網(wǎng)絡(luò)的？

Yann LeCun：我對(duì)「智慧」這個(gè)總體概念一直都有很深的興趣。當(dāng)我還小的時(shí)候就想知道人類的智慧是怎么回事、人類是如何進(jìn)化的，那時(shí)候我還在法國(guó)，大概還在讀中學(xué)。我對(duì)科技啊、太空啊這種東西都很感興趣，我最喜歡的電影是《2001 太空漫游》，里面有有智慧的機(jī)器、有太空旅行等等；還有人類進(jìn)化，這些都是我很喜歡的東西。「有智慧的機(jī)器」這個(gè)概念深深吸引著我。

后來(lái)我在大學(xué)學(xué)習(xí)了電子工程，大概就在工程學(xué)院的第二年，我遇到了這么一本書，它其實(shí)是一本講哲學(xué)的書，是關(guān)于 MIT 的計(jì)算語(yǔ)言學(xué)家 Noam Chomsky 和瑞士的兒童發(fā)展心理學(xué)家 Jean Piaget 之間的辯論。他們辯論的根本觀點(diǎn)是語(yǔ)言是天生的還是后天發(fā)展的。Noam Chomsky 的論點(diǎn)是語(yǔ)言里有很多內(nèi)在結(jié)構(gòu)，Jean Piaget 認(rèn)為這些結(jié)構(gòu)都是可以學(xué)習(xí)的，等等。

站在 Jean Piaget 的觀點(diǎn)這一邊的還有一篇打印稿，收集了很多支持這個(gè)觀點(diǎn)的人的言論來(lái)幫助討論，其中包括 MIT 的 Seymour Papert，Perceptron（感知機(jī)）模型就是他研究出來(lái)的，這也是世界上第一個(gè)可以運(yùn)行的機(jī)器。我以前從來(lái)沒(méi)有聽說(shuō)過(guò) Perceptron，然后讀了他的論文以后發(fā)現(xiàn)，這種機(jī)器是可以運(yùn)行的，聽起來(lái)棒極了。然后我就去了好幾個(gè)大學(xué)的圖書館，想要找到所以和 Perceptron 有關(guān)的資料，結(jié)果卻發(fā)現(xiàn)即便同樣是 Papert 合著的書，1950 年代之前的書會(huì)談到它，但 1960 年之后的書就再也沒(méi)有提到的了。

我和學(xué)校里的一些數(shù)學(xué)教授一起做了一些項(xiàng)目，基本上就像神經(jīng)網(wǎng)絡(luò)那樣的，但是我找不到任何做過(guò)神經(jīng)網(wǎng)絡(luò)的人可以討論，因?yàn)檫@個(gè)領(lǐng)域大概就是在這個(gè)時(shí)候，1980 年前后消失了，沒(méi)有人研究這個(gè)。我們當(dāng)時(shí)做實(shí)驗(yàn)都是編寫、運(yùn)行一些模擬軟件，讀一些神經(jīng)科學(xué)的論文，類似這種。

當(dāng)我讀完工程學(xué)位以后，我去學(xué)習(xí)了電子芯片設(shè)計(jì)，半導(dǎo)體設(shè)計(jì)，這是一些完全不同的事情。當(dāng)我學(xué)完以后，我特別想做這方面的研究，因?yàn)楫?dāng)時(shí)就有重要的問(wèn)題，如何訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)。在 1960 年代的文獻(xiàn)里明顯可以感覺(jué)到這是一個(gè)重要問(wèn)題，而且也并沒(méi)有被解決。比如對(duì)于層級(jí)這種概念，我讀了福島邦彥關(guān)于新認(rèn)知機(jī)（Neocognitron）的文章，里面有層級(jí)化的結(jié)構(gòu)，和我們今天稱作卷積網(wǎng)絡(luò)的結(jié)構(gòu)很像，只不過(guò)沒(méi)有反向傳播這樣的學(xué)習(xí)算法。

我還遇到了法國(guó)一個(gè)小實(shí)驗(yàn)室里的一群人，他們感興趣的東西那時(shí)候叫做自動(dòng)機(jī)網(wǎng)絡(luò)（Automata Networks）很感興趣，他們還給我看了幾篇關(guān)于霍普菲爾德網(wǎng)絡(luò)（Hopfield Networks）的論文。這些網(wǎng)絡(luò)現(xiàn)在已經(jīng)不流行了，但是它是第一次把存儲(chǔ)和神經(jīng)網(wǎng)絡(luò)聯(lián)系到了一起。這也說(shuō)明了我們?cè)?80 年代早期就可以重新喚起部分研究者對(duì)神經(jīng)網(wǎng)絡(luò)的興趣，多數(shù)是凝聚態(tài)物理學(xué)家，還有一些心理學(xué)家。其實(shí)即便到了現(xiàn)在，工程師和計(jì)算機(jī)科學(xué)家討論神經(jīng)網(wǎng)絡(luò)都不是一件完全被接受的事情。

他們還給我看了一篇論文，那時(shí)候才剛剛作為預(yù)印本發(fā)布，標(biāo)題是「最優(yōu)感知機(jī)推理」（Optimal Perceptual Inference）。這是第一篇關(guān)于玻爾茲曼機(jī)的論文，作者是 Geoffrey Hinton 和 Terrence Sejnowski。其中談到了隱層神經(jīng)元、如何學(xué)習(xí)有多個(gè)層的神經(jīng)網(wǎng)絡(luò)，這要比線性分類器強(qiáng)大多了。我當(dāng)時(shí)就覺(jué)得，我一定要見(jiàn)見(jiàn)這群人，因?yàn)樗麄円呀?jīng)找到了正確的問(wèn)題。

幾年以后當(dāng)我讀博士的時(shí)候，我在 La Douche 參加了一個(gè) workshop。這個(gè) workshop 是我共事的人組織的，Terrence 是那天的演講者之一，也就是這次我跟他遇到了。在 1985 年?La Douche?的這個(gè) workshop 上我不僅遇到了?Terrence，早期研究神經(jīng)網(wǎng)絡(luò)的很多人都在那里，還有很多研究理論神經(jīng)科學(xué)的。那個(gè) workshop 非常棒。我也遇到了幾個(gè)貝爾實(shí)驗(yàn)室的人，就是這群人最后把我招進(jìn)了貝爾實(shí)驗(yàn)室，不過(guò)這也是我博士畢業(yè)幾年之后的事情了。

當(dāng)時(shí)我就和?Terrence 聊起自己在做某種形式的反向傳播，這時(shí)候任何關(guān)于反向傳播的論文都還沒(méi)有發(fā)表， Terrence 演講里也談到了反向傳播。Rumelhart、Hinton 和 Williams 的關(guān)于反向傳播的論文這時(shí)候也還沒(méi)發(fā)表，不過(guò)他也和 Hinton 是朋友，信息一直在溝通，所以他就已經(jīng)在研究了，想辦法讓它成功。不過(guò)這些都不是他當(dāng)時(shí)就告訴我的。他回到了美國(guó)，然后告訴 Hinton 說(shuō)在法國(guó)也有個(gè)小孩在和我們研究一樣的東西。（笑）

過(guò)了幾個(gè)月，6 月的時(shí)候另一個(gè)別的會(huì)在法國(guó)開，Hinton 是會(huì)上的演講者，他講的內(nèi)容是玻爾茲曼機(jī)，但他肯定在寫反向傳播那篇論文。他做完演講之后，周圍圍了好幾十個(gè)人想要跟他說(shuō)話，然后他跟會(huì)議組織者說(shuō)的第一句話就是，有個(gè)叫 Yann LeCun 的你認(rèn)識(shí)嗎？因?yàn)樗跁?huì)議論文集里看到我的論文了，論文是用法語(yǔ)寫的，但是他能看懂一些，能看懂里面的公式，能看懂這就是反向傳播。我們就一起吃了午飯，從此就成朋友了。

吳恩達(dá)：也就是說(shuō)你們基本上是幾組人同時(shí)各自獨(dú)立地創(chuàng)造了反向傳播。

Yann LeCun：對(duì)。我們都意識(shí)到了鏈?zhǔn)揭?guī)則，也就是做最優(yōu)控制的人在他們的領(lǐng)域里叫 joint state method 的東西，本質(zhì)思想就是反向傳播。 它的實(shí)質(zhì)就是多階段的梯度下降。這個(gè)概念在很多不同的語(yǔ)境里都前后出現(xiàn)過(guò)很多次，但我覺(jué)得讓它變得熱門的就是?Rumelhart、Hinton 和 Williams 的這篇論文。

吳恩達(dá)：這之后過(guò)了幾年，你來(lái)到了 AT&T 的貝爾實(shí)驗(yàn)室，在這里你發(fā)明了很多東西，其中就包括 LeNet，我的課程里也有講到。我還記得我在 AT&T 的貝爾實(shí)驗(yàn)室做暑期實(shí)習(xí)生的時(shí)候都還聽他們談起你的研究。跟我們?cè)敿?xì)講講你在 AT&T 研發(fā) LeNet 的經(jīng)歷吧。

Yann LeCun：其實(shí)我在多倫多大學(xué)跟著 Hinton 做博士后的時(shí)候就已經(jīng)開始研究卷積網(wǎng)絡(luò)了，我寫了代碼，做了最早的實(shí)驗(yàn)。當(dāng)時(shí)還沒(méi)有 MNIST 這種東西，所以我就用鼠標(biāo)畫了一批字符作為訓(xùn)練數(shù)據(jù)集，用的也是當(dāng)時(shí)最好的個(gè)人電腦；畫了一些數(shù)字，然后做了數(shù)據(jù)擴(kuò)增增多了一些樣本以后，就用它做了測(cè)試。我們當(dāng)時(shí)對(duì)比測(cè)試了全連接卷積網(wǎng)絡(luò)、局部連接卷積網(wǎng)絡(luò)、沒(méi)有共享權(quán)值和有共享權(quán)值的網(wǎng)絡(luò)，這也就是最早的卷積網(wǎng)絡(luò)的樣子。實(shí)驗(yàn)結(jié)果挺不錯(cuò)的，表明了如果你有一個(gè)很小的數(shù)據(jù)集就可以得到（比以往的方法）更好的表現(xiàn)，借助卷積網(wǎng)絡(luò)的結(jié)構(gòu)也不會(huì)過(guò)度訓(xùn)練。

當(dāng)我 1988 年 10 月去了貝爾實(shí)驗(yàn)室的時(shí)候，我做的第一件是就是擴(kuò)大網(wǎng)絡(luò)規(guī)模，因?yàn)槟菚r(shí)候的電腦也更快了。就在我去貝爾實(shí)驗(yàn)室的幾個(gè)月前，我當(dāng)時(shí)的 boss、后來(lái)也做了貝爾實(shí)驗(yàn)室的主管的 Larry Jackel 說(shuō)，在你來(lái)之前要給你買一臺(tái)新電腦，你想要什么樣的。我說(shuō)多倫多大學(xué)有一臺(tái) Sun 4，很厲害，如果貝爾實(shí)驗(yàn)室也能有一臺(tái)就好了。所以他們就買了一臺(tái)，專門買給我用的。要知道，在多倫多大學(xué)的時(shí)候一臺(tái)?Sun 4 是整個(gè)學(xué)院用的，在這里一臺(tái)就我一個(gè)人用！Larry 說(shuō)，在貝爾實(shí)驗(yàn)室沒(méi)有誰(shuí)是能靠省錢省出名的。這真是棒極了。

我去的時(shí)候他們研究字母識(shí)別已經(jīng)研究了一陣子了，他們有一個(gè)非常大的數(shù)據(jù)集叫做 USPS ，里面有 500 0 個(gè)訓(xùn)練樣本。（笑）所以我馬上就拿這個(gè)數(shù)據(jù)集訓(xùn)練了卷積網(wǎng)絡(luò)，也就是當(dāng)年的第一代 LeNet，得到了非常好的結(jié)果，比當(dāng)時(shí)其他在這個(gè)數(shù)據(jù)集上試過(guò)的方法都要好。我們有預(yù)感這可能是某件更大的事的開始，而這時(shí)候我加入貝爾實(shí)驗(yàn)室也只有三個(gè)月。

在當(dāng)時(shí)第一版的卷積網(wǎng)絡(luò)中，我們用了條帶（stride）卷積，沒(méi)有用分開的子采樣和池化，所以每個(gè)卷積操作都是直接做子采樣。之所以這樣做，就是因?yàn)槿绻诿總€(gè)位置都做卷積的話計(jì)算量太高了，我們承擔(dān)不了。到了第二版的時(shí)候有了分別的卷積、池化層以及子采樣。這也就是大家稱作 LeNet 1 的網(wǎng)絡(luò)了。我們發(fā)表了好幾篇關(guān)于這個(gè)的論文，包括在 NIPS 上。

關(guān)于這項(xiàng)研究有件有意思的事情，當(dāng)時(shí)我在 NIPS 上演講的時(shí)候 Hinton 就坐在下面聽。我講完以后就坐在他旁邊，他說(shuō)，你的演講里透露出了一條信息，就是如果你做了所有合理的事情，那它就能真的成功。（笑）

吳恩達(dá)：這之后沒(méi)過(guò)多久歷史就被它改寫了，卷積網(wǎng)絡(luò)的概念很快在識(shí)別支票之類的事情上流行了起來(lái)。

Yann LeCun：是的，不過(guò)這只是在 AT&T 內(nèi)部，AT&T 之外沒(méi)有怎么用這個(gè)。其實(shí)我一直不是很明白為什么，到了 80 年代后期的時(shí)候，有電子郵件和 FTP，但還沒(méi)有因特網(wǎng)，那時(shí)候世界上就沒(méi)有哪兩個(gè)實(shí)驗(yàn)室用的軟硬件平臺(tái)是一樣的，有的人用的是 Sun 的工作站，有的人用的別的牌子的，也有人用個(gè)人電腦。也沒(méi)有 Python、Matlab 等等這些東西，每個(gè)人都是寫自己的代碼。我和我的學(xué)生 Leon Bottou 花了一年半時(shí)間才寫出一個(gè)神經(jīng)網(wǎng)絡(luò)模擬器。而且因?yàn)槟菚r(shí)候沒(méi)有?Python、Matlab，你還需要自己寫解釋器才能控制它，所以我們又寫了 Lisp 的解釋器。所以整個(gè) LeNet 都是用 Lisp 寫的，搭配一個(gè)數(shù)值化的后端，和我們現(xiàn) Python、PyTorch、TensorFlow 等等里非常熟悉的可以互相連接的塊狀結(jié)構(gòu)、有共享結(jié)構(gòu)的網(wǎng)絡(luò)架構(gòu)已經(jīng)很像了。

然后我們就開發(fā)了一批應(yīng)用，我們和一群工程師一起合作，他們很聰明，里面有的人是理論物理學(xué)家但是來(lái)了貝爾實(shí)驗(yàn)室做工程師，Chris Burgess 就是其中一位，后來(lái)在微軟研究院也做出了很多成果。我們和他們一起，把理論成果變成實(shí)際產(chǎn)品。我們開發(fā)了字符識(shí)別系統(tǒng)，把卷積網(wǎng)絡(luò)和類似我們現(xiàn)在叫做 CRF 的東西結(jié)合在一起，它能識(shí)別一連串的字符，而不只是單個(gè)單個(gè)的字符。

吳恩達(dá)：在 LeNet 論文里你們完善了神經(jīng)網(wǎng)絡(luò)，然后又完善了自動(dòng)機(jī)，然后把兩者結(jié)合了起來(lái)。

Yann LeCun：對(duì)的，論文的前一半講的是卷積神經(jīng)網(wǎng)絡(luò)，很多人都喜歡的是這一部分；后一半就很少有人讀了，它講的是序列級(jí)別的辨識(shí)學(xué)習(xí)和結(jié)構(gòu)預(yù)測(cè)，而且不需要正則化，實(shí)際上和 CRF 很像。PC 的 CRF 再過(guò)幾年也出現(xiàn)了。

當(dāng)時(shí)我們做的很成功，唯一的一點(diǎn)就是，剛才提到的工程師做的是整個(gè)系統(tǒng)的工程，還有一個(gè)產(chǎn)品小組在另一個(gè)地點(diǎn)工作，他們屬于 AT&T 拆分后的公司 NCR，他們做大型的 ATM 機(jī)，也做支票識(shí)別系統(tǒng)，他們算是我們的客戶吧，用我們的支票識(shí)別技術(shù)，然后部署在銀行。系統(tǒng)部署那天我們實(shí)驗(yàn)室的人去了一家很好的餐廳慶祝，就在這時(shí)候?AT&T 宣布拆分。那時(shí)候是 1995 年，AT&T 拆分成了三個(gè)公司，AT&T、朗訊和 NCR。工程團(tuán)隊(duì)分到了朗訊，產(chǎn)品團(tuán)隊(duì)分到了 NCR。很讓人難過(guò)的是，我們當(dāng)時(shí)給卷積網(wǎng)絡(luò)申請(qǐng)了專利，好在現(xiàn)在專利已經(jīng)在 2007?年過(guò)期了（笑），但那時(shí)候 AT&T 的律師們有無(wú)窮的智慧，專利當(dāng)時(shí)分給了 NCR，而 NCR 的人連一個(gè)知道卷積網(wǎng)絡(luò)是什么的都沒(méi)有。所以專利就這樣握在了一群根本不知道自己拿著的是什么的人手里。我們則在另一個(gè)公司里，沒(méi)法繼續(xù)開發(fā)這個(gè)技術(shù)；工程團(tuán)隊(duì)也在另一個(gè)公司。這事提起來(lái)還是有點(diǎn)郁悶的。

吳恩達(dá)：在你早期的、卷積網(wǎng)絡(luò)起飛之前的工作之外，你也一直在堅(jiān)持研究神經(jīng)網(wǎng)絡(luò)，即便是在神經(jīng)網(wǎng)絡(luò)的冬天。那時(shí)候的感覺(jué)如何？

Yann LeCun：可以說(shuō)我堅(jiān)持了，也可以說(shuō)我某種程度上沒(méi)堅(jiān)持。我一直堅(jiān)信這些方法總有一天會(huì)回到大家的視野中，大家會(huì)學(xué)會(huì)如何用它們，解決一些實(shí)際問(wèn)題。我一直有這個(gè)信念。但是到了 1995 年 AT&T 拆分以后，我們?cè)谧址R(shí)別方面的研究成果也跟著失散了。我也成為了實(shí)驗(yàn)室主管，需要考慮要研究什么問(wèn)題。這時(shí)候還是因特網(wǎng)剛剛萌發(fā)的時(shí)候，我有個(gè)想法就是，因特網(wǎng)的出現(xiàn)帶來(lái)的一個(gè)問(wèn)題就是如何把我們印在紙上的各種知識(shí)搬到數(shù)字世界里來(lái)。我就帶頭做了?DjVu 這個(gè)項(xiàng)目，壓縮掃描的文檔，這樣方便它們?cè)诰W(wǎng)絡(luò)上分享。做這個(gè)項(xiàng)目的時(shí)候我們有很多樂(lè)趣，也獲得了一定的成功，雖然后來(lái)?AT&T 并不知道應(yīng)該怎么處理它。

吳恩達(dá)：我也還記得這個(gè)項(xiàng)目，方便在網(wǎng)上查看論文。

Yann LeCun：對(duì)的，就是這樣的。我們把 NIPS 的所有收錄論文都掃描出來(lái)放在了網(wǎng)上，也算是延時(shí)了它的效果。高分辨率的文章經(jīng)過(guò)我們壓縮以后只有幾百 KB。

吳恩達(dá)：你充滿自信的早期研究成果現(xiàn)在已經(jīng)基本占據(jù)了整個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域，而且也開始對(duì)其它的領(lǐng)域產(chǎn)生巨大的影響。你當(dāng)時(shí)預(yù)見(jiàn)到了這樣的發(fā)展嗎？

Yann LeCun：（笑）我先說(shuō)說(shuō)我一開始的預(yù)想的是怎么樣的。一開始我就相信這是可行的，雖然它需要運(yùn)算很快的計(jì)算機(jī)和很多數(shù)據(jù)，但我一直相信這是一種正確的做法。當(dāng)時(shí)我還在貝爾實(shí)驗(yàn)室的時(shí)候就覺(jué)得，隨著計(jì)算機(jī)變得越來(lái)越強(qiáng)大，沿著這個(gè)方向做下去可以做出一連串的成果。我們?cè)谪悹枌?shí)驗(yàn)室甚至設(shè)計(jì)了專門用來(lái)運(yùn)行卷積網(wǎng)絡(luò)的芯片，有兩種不同的芯片可以非常高效地運(yùn)行卷積網(wǎng)絡(luò)。我們覺(jué)得這是一個(gè)很好的開端，整個(gè)領(lǐng)域?qū)矸e網(wǎng)絡(luò)的興趣也會(huì)越來(lái)越濃厚，不斷做出新的進(jìn)展。但是實(shí)際上因?yàn)?90 年代中期的時(shí)候根本沒(méi)人對(duì)神經(jīng)網(wǎng)絡(luò)感興趣了，所以這些設(shè)想都沒(méi)實(shí)現(xiàn)，1995 年到 2002 年的這六七年算是一段非常黑暗的時(shí)光，沒(méi)有人研究這個(gè)。

其實(shí)也有一點(diǎn)點(diǎn)研究，微軟在 2000 年早期的時(shí)候用卷積網(wǎng)絡(luò)識(shí)別中文字符。在法國(guó)也有人做面部檢測(cè)這樣的任務(wù)，但規(guī)模都很小。而且我最近才發(fā)現(xiàn)，也有幾個(gè)小組想出了本質(zhì)上和卷積網(wǎng)絡(luò)非常相似的東西，用來(lái)做醫(yī)學(xué)影像分析，但是他們并沒(méi)有機(jī)會(huì)像我們這樣發(fā)表論文，都是直接用在了商業(yè)化系統(tǒng)里面，沒(méi)有發(fā)什么文章。在我們的第一篇卷積網(wǎng)絡(luò)論文發(fā)表以后他們也知道了這件事，發(fā)現(xiàn)差不多就是跟我們同時(shí)做著類似的研發(fā)。所以其實(shí)有很多人都有類似的想法，各自分別在做。

接下來(lái)我是真的對(duì)大家產(chǎn)生興趣的速度感到驚訝，就從 2012 的 ImageNet 開始。2012 年底的時(shí)候，在法國(guó)召開的 ECCV 上有這么一個(gè)很有意思的活動(dòng)，是關(guān)于 ImageNet 的 workshop，大家都已經(jīng)聽說(shuō)了 Hinton 團(tuán)隊(duì)以及?Alex Krizhevsky 以很大優(yōu)勢(shì)贏得了比賽，所以都在期待?Alex Krizhevsky 的演講，而這時(shí)候計(jì)算機(jī)視覺(jué)領(lǐng)域的大多數(shù)人都還沒(méi)聽說(shuō)過(guò)卷積網(wǎng)絡(luò)是什么。實(shí)際上聽過(guò)的那些人也是聽我在 CVPR 2000 上講的，但是并沒(méi)有引起大多數(shù)人的注意。做了很長(zhǎng)時(shí)間研究的人會(huì)知道，但是年輕一些的就沒(méi)聽說(shuō)過(guò)了。

到了 Alex Krizhevsky 講的時(shí)候，他根本沒(méi)有解釋卷積網(wǎng)絡(luò)是什么，因?yàn)樗茄芯繖C(jī)器學(xué)習(xí)出身的，默認(rèn)了所有人都知道卷積網(wǎng)絡(luò)。然后他就直接講，這里是個(gè)全連接層，我們是怎么怎么傳輸數(shù)據(jù)的，然后得到了這樣的結(jié)果。現(xiàn)場(chǎng)聽的人里有很多都很驚訝，大家的觀念也以肉眼可見(jiàn)的速度在改變。

吳恩達(dá)：你覺(jué)得這就是卷積網(wǎng)絡(luò)改寫了計(jì)算機(jī)視覺(jué)領(lǐng)域的標(biāo)志性時(shí)刻？

Yann LeCun：沒(méi)錯(cuò)，就是這時(shí)候發(fā)生的。

吳恩達(dá)：現(xiàn)在你不僅保留著紐約大學(xué)（NYU）的教職，而且也是 Facebook 人工智能實(shí)驗(yàn)室（FAIR）的負(fù)責(zé)人（AI 科技評(píng)論注：今年 1 月 LeCun 已把負(fù)責(zé)人職位轉(zhuǎn)交給 Jér?mePesenti，同時(shí)升任 Facebook 首席人工智能科學(xué)家，專注于學(xué)術(shù)/技術(shù)研究。）我聽說(shuō)你對(duì)如何在企業(yè)做研究的觀點(diǎn)很獨(dú)特，可以給我們講講嗎？

Yann LeCun：過(guò)去 4 年里我在 Facebook 享受到的一件很美妙的事情就是，我有很大的自由可以按照我自己覺(jué)得合適的方式來(lái)構(gòu)建 FAIR。這是 Facebook 的第一個(gè)研究機(jī)構(gòu)，而 Facebook 是一個(gè)以工程為中心的企業(yè)，在此之前關(guān)注的重點(diǎn)都是在如何生存或者其它一些短期的東西上。在這個(gè)公司成立快要 10 年了、成功 IPO 的時(shí)候，也要開始考慮下一個(gè) 10 年要怎么辦，Mark?Zuckerberg 需要想想未來(lái) 10 年里什么東西最重要。既然生存已經(jīng)不是問(wèn)題了，雖然當(dāng)時(shí) Facebook 還沒(méi)那么大，5000 個(gè)人左右，但也確實(shí)是一個(gè)轉(zhuǎn)型成大公司思路的時(shí)刻，思考什么技術(shù)未來(lái)比較重要。

Mark 和他的團(tuán)隊(duì)就認(rèn)為，AI 對(duì)于 Facebook 的宗旨「連接不同的人」來(lái)說(shuō)會(huì)是一項(xiàng)非常重要的技術(shù)。他們嘗試了一些不同的方式想在 AI 方面有所作為，他們構(gòu)建了一個(gè)內(nèi)部團(tuán)隊(duì)研究卷積網(wǎng)絡(luò)這些東西，在人臉識(shí)別等一些任務(wù)上獲得了非常好的成果。他們也考慮了要不要招聘一些年輕研究員，或者收購(gòu)別的公司，最終決定從領(lǐng)域內(nèi)招聘一位資深學(xué)者，成立一個(gè)正式的研究機(jī)構(gòu)。

一開始文化方面的沖突還是挺大的，因?yàn)樵诠緝?nèi)做研究的方式和做工程有很大區(qū)別，做工程要有時(shí)間表、路線圖，但是研究者對(duì)于自己研究節(jié)奏的選擇就會(huì)很保守。而且我也是在很早的時(shí)候就明確表示，做研究需要開放，不僅要鼓勵(lì)研究者公開發(fā)表成果、甚至要求他們公開發(fā)表，而且對(duì)成果的評(píng)價(jià)標(biāo)準(zhǔn)也要和學(xué)術(shù)界的研究者一樣。Mark 和 Facebook 的 CTO、現(xiàn)在我的上司 Mike Schroepfer 就說(shuō)，F(xiàn)acebook 是一個(gè)非常開放的公司，我們的很多東西都是開源發(fā)布的；Mike Schroepfer 自己也是來(lái)自開源世界的，之前他在 Mozilla，所以開源就在公司的 DNA 里。這也讓我們很有信心可以建成一個(gè)開放的研究機(jī)構(gòu)。

并且，F(xiàn)acebook 對(duì)于知識(shí)產(chǎn)權(quán)沒(méi)有別的公司那么嚴(yán)格，這也讓我們更方便和大學(xué)合作，以及一個(gè)人可以同時(shí)參與學(xué)術(shù)和企業(yè)的事情。

吳恩達(dá)：這對(duì)你自己也有很大好處，可以在紐約大學(xué)任教。

Yann LeCun：沒(méi)錯(cuò)。如果你看看我過(guò)去 4 年里發(fā)表的論文的話，其實(shí)大多數(shù)是和我在紐約大學(xué)的學(xué)生們一起做的。我在 Facebook 做的其實(shí)很多是整個(gè)實(shí)驗(yàn)室的管理、招人、做指導(dǎo)這些事情，但是我沒(méi)辦法參與到一個(gè)個(gè)具體的研究項(xiàng)目里面去，也就沒(méi)辦法在論文里署名了 —— 當(dāng)然了我現(xiàn)在也不在乎能不能在論文里署名。

吳恩達(dá)：就是幫助別人做出很好的成果，然后自己做自己的研究。

Yann LeCun：對(duì)，你自己不應(yīng)該特別參與，應(yīng)該就在幕后看著，讓實(shí)驗(yàn)室里的人自己形成競(jìng)爭(zhēng)。

吳恩達(dá)：下面這個(gè)問(wèn)題相信很多人都問(wèn)過(guò)，現(xiàn)在在看這個(gè)視頻的人也很想知道答案，那就是，對(duì)于想要進(jìn)入 AI 領(lǐng)域的人，你有什么建議可以給他們嗎？

Yann LeCun：（笑）AI 這個(gè)領(lǐng)域和我剛剛進(jìn)入的時(shí)候已經(jīng)完全不一樣了。我覺(jué)得這個(gè)領(lǐng)域現(xiàn)在有一點(diǎn)很棒，就是想要在一定程度上參與進(jìn)來(lái)是很簡(jiǎn)單的一件事。我們現(xiàn)在有很多簡(jiǎn)單好用的工具，TensorFlow、PyTorch 等等一大堆，自己家里隨便一個(gè)什么電腦就能運(yùn)行得起來(lái)，然后訓(xùn)練一個(gè)卷積網(wǎng)絡(luò)或者循環(huán)神經(jīng)網(wǎng)絡(luò)做任何想做的事情。除了這些工具，也還有很多線上的教學(xué)資源可以學(xué)習(xí)，沒(méi)有什么門檻，高中生都能玩得轉(zhuǎn)，我覺(jué)得這棒極了。而且現(xiàn)在的學(xué)生里對(duì)機(jī)器學(xué)習(xí)、AI 感興趣的也越來(lái)越多，年輕人也能喜歡真的很好。

我的建議是，如果你想要進(jìn)入這個(gè)領(lǐng)域的話，做出一些幫助，比如在開源項(xiàng)目里貢獻(xiàn)一些代碼，或者實(shí)現(xiàn)某個(gè)網(wǎng)上找不到代碼的標(biāo)準(zhǔn)算法，這樣別人就有得用了。你可以就找一篇你覺(jué)得重要的論文，把算法實(shí)現(xiàn)出來(lái)，然后做成開源的代碼包，或者貢獻(xiàn)到別的開源代碼包里。如果你寫的東西有趣、有用，就會(huì)有別人注意到你，你非常想去的公司可能會(huì)發(fā) offer 給你，你很想讀博的地方也可能給你回信，之類的。我覺(jué)得這是一種很好的開頭方式。

吳恩達(dá)：參與開源項(xiàng)目是進(jìn)入這個(gè)領(lǐng)域的一種很好的途徑。這個(gè)過(guò)程里也可以學(xué)習(xí)。

Yann LeCun：是的。

吳恩達(dá)：謝謝你，真的很棒。雖然從媒體看了不少報(bào)道，但是聽你親自講以前的這些故事細(xì)節(jié)還是很精彩。

Yann LeCun：這樣的故事還有很多，而且直到十幾二十年后你去回想的時(shí)候，才會(huì)發(fā)現(xiàn)這些事其實(shí)有多重大。

AD： 進(jìn)擊?融合 獵云網(wǎng)&AI星球2018年度人工智能產(chǎn)業(yè)峰會(huì) 將于4月17號(hào)在深圳大中華希爾頓酒店舉行。這里有最深度的思考，最有價(jià)值的投資建議，以及最酷的黑科技展示，精彩不容錯(cuò)過(guò)。