Facebook AI 研究院負(fù)責(zé)人:相比百度和谷歌,我們有哪些優(yōu)勢(shì)?
相比Google,F(xiàn)acebookAI研究院的優(yōu)勢(shì)在哪里?SerkanPiantino是他們的研究主管,他會(huì)如何回答這個(gè)問(wèn)題?...
編者按:本文由張巨巖翻譯自Quora。
SerkanPiantino,F(xiàn)acebookAI研究工程部主管,F(xiàn)acebook紐約部主任。曾是BridgewaterAssciates公司的投資合伙人。之前負(fù)責(zé)領(lǐng)導(dǎo)開(kāi)發(fā)Newsfeed、Newsfeed排序算法、Timeline和Messenger的基礎(chǔ)設(shè)施建設(shè)等。
Serkan Piantino 在 Quora 上對(duì)關(guān)于 Facebook AI 研究院的問(wèn)題給了詳細(xì)的解答,新智元整理如下:
| Q1:FacebookAI研究院(FAIR)有哪些最有意思的項(xiàng)目?有很多有趣的東西,但我會(huì)突出一些亮點(diǎn),還有一些用途廣泛的、令人興奮的項(xiàng)目關(guān)鍵點(diǎn)。
首先,在感知方面,我們構(gòu)建了能理解圖片、視頻、聲音等等外界輸入的系統(tǒng)。Facebook網(wǎng)站上也有一些示例,例如,我們構(gòu)建了能夠回答圖片場(chǎng)景相關(guān)問(wèn)題的系統(tǒng),這里是我們近期在參加MSCOCO挑戰(zhàn)賽時(shí)用于分割和標(biāo)記物體的系統(tǒng)所生成的圖片。
這類(lèi)東西——完成了人類(lèi)認(rèn)知任務(wù),如標(biāo)記、對(duì)高維輸入(像素、視頻幀、音頻樣本等等)回答問(wèn)題——近幾年被廣泛地使用,特別是使用了卷積神經(jīng)網(wǎng)絡(luò)這類(lèi)技巧后。卷積神經(jīng)網(wǎng)絡(luò)是我的同事YannLeCun很早以前發(fā)明的,后來(lái)因?yàn)镚PU處理海量數(shù)據(jù)的強(qiáng)大能力而變得很實(shí)用。這很令人興奮,因?yàn)樗倪M(jìn)步速度十分快,而且這也開(kāi)辟了以往沒(méi)有的新產(chǎn)品領(lǐng)域——能夠在Facebook上理解文本和意圖的產(chǎn)品領(lǐng)域。
我們也開(kāi)始逆向應(yīng)用這些網(wǎng)絡(luò),讓它們從一段文字描述中想象場(chǎng)景或圖片,而不是從圖片中總結(jié)出文字。以下是FAIRySoumithChintala和波士頓的indicoResearch的一些合作成果,它生成了AI自己想象出的臥室場(chǎng)景。
而且這些網(wǎng)絡(luò)也被用于生成面部圖像、專(zhuān)輯封面、花、中國(guó)漢字甚至還有二次元角色圖像。
下一件我想突出的事情是我們賦予這些網(wǎng)絡(luò)類(lèi)似于人類(lèi)記憶和推理的能力。FacebookM項(xiàng)目中一些自動(dòng)化部分是依靠記憶網(wǎng)絡(luò)的,這一工作是被FAIRy的JasonWeston發(fā)表出來(lái)。為了處理長(zhǎng)對(duì)話,我們不得不理解每段文本的意思,而且為了我們以后也能查詢這些內(nèi)容,我們也需要存儲(chǔ)和訪問(wèn)它們。這些記憶網(wǎng)絡(luò)是在時(shí)間中學(xué)習(xí)如何創(chuàng)造并查詢既定事實(shí)的一系列網(wǎng)絡(luò)構(gòu)建方法的一部分。如果說(shuō)我們傳統(tǒng)而無(wú)狀態(tài)(stateless)的方法看起來(lái)像是在時(shí)間的推移中學(xué)習(xí)構(gòu)建簡(jiǎn)單電路的話,那么這些網(wǎng)絡(luò)看起來(lái)就像是完全的自主布線處理器(full,self-wiringprocessors)。我們也有一些關(guān)于這種網(wǎng)絡(luò)讀故事并隨后回答問(wèn)題的網(wǎng)絡(luò)示例。
最后,我們從Facebook本身也學(xué)到很多東西。Facebook有15.5億用戶,他們之間的相互聯(lián)系和對(duì)外部世界的發(fā)掘給了我們絕佳機(jī)會(huì)來(lái)研究人類(lèi)。作為一名工程師,將系統(tǒng)擴(kuò)展到整個(gè)Facebook社交圖上并從中學(xué)習(xí)讓我非常興奮,而全球唯一能夠做到這一點(diǎn)的地方就在這里。我們還有很遠(yuǎn)的路要走,但我們希望在工作(預(yù)測(cè)和理解Facebook社交關(guān)系圖)中學(xué)到更多關(guān)于人們的東西。
這無(wú)論如何都不是所有的有趣研究,但是它們是我個(gè)人喜歡的一些亮點(diǎn)。
| Q2:你對(duì)有興趣進(jìn)入AI實(shí)驗(yàn)室的工程師有什么技能要求和個(gè)性要求?根據(jù)我們的經(jīng)驗(yàn),在FAIR的工程師首先應(yīng)該具有一名強(qiáng)大的Facebook工程師所有的特點(diǎn)——如聰明、勤奮、適合我們文化、能將抽象想法轉(zhuǎn)化為可用的電腦代碼。有了這些,我還需要尋找:
有一些機(jī)器學(xué)習(xí)的基本背景,作為理解你周?chē)渌Z(yǔ)言的基礎(chǔ);
對(duì)相關(guān)領(lǐng)域的強(qiáng)烈興趣。對(duì)你所從事的東西有強(qiáng)烈興趣;
具有天生的好奇心——閱讀文獻(xiàn),跟進(jìn)科學(xué)進(jìn)展
快速習(xí)得新研究工具(如CUDA,Torch)而不只是學(xué)習(xí)它們,還要從事改進(jìn)它們的工作。
| Q3:在紐約,像Facebook這樣的大型科技公司和初創(chuàng)企業(yè)之間的關(guān)系是怎樣的?與硅谷有什么不同?最重要的一個(gè)地方是建立這個(gè)領(lǐng)域的生態(tài)系統(tǒng)和創(chuàng)業(yè)氛圍,而且創(chuàng)新是人們承受他們生涯中真實(shí)存在的風(fēng)險(xiǎn)并控制它們的能力。理想狀態(tài)下,人們?cè)凇皬膭?chuàng)立一個(gè)企業(yè)并從頭學(xué)起”到“加入能提供更多穩(wěn)定性的大公司并幫助他們從以往的成功中學(xué)習(xí)”的過(guò)程中有很多選擇。
在過(guò)去的幾年里,我們看到了NYC的巨大成長(zhǎng),不僅僅是初創(chuàng)公司還有更大的機(jī)構(gòu),如FacebookNYC。結(jié)果是,這個(gè)生態(tài)系統(tǒng)變得越來(lái)越完整,而且我認(rèn)為你也會(huì)在不同公司和創(chuàng)業(yè)領(lǐng)域(硅谷的標(biāo)志)中看到一些和諧而積極的行動(dòng)。
所以,總體來(lái)講,我會(huì)說(shuō)它正快速向硅谷,或者說(shuō)是技術(shù)生態(tài)系統(tǒng),這類(lèi)的關(guān)系方向發(fā)展。
| Q4:在接下來(lái)的5年里我們預(yù)期會(huì)看到哪些AI產(chǎn)品?現(xiàn)在有很多神奇的產(chǎn)品,但現(xiàn)在大部分產(chǎn)品所具有的能力是很原始的。這些產(chǎn)品正用很多種方式轉(zhuǎn)化為Facebook的產(chǎn)品,但是我們需要做更多才能將這些技術(shù)挖掘出來(lái),進(jìn)而將人們天馬行空的想象轉(zhuǎn)化為真實(shí)的產(chǎn)品?,F(xiàn)在,一些AI公司太貪心科技研發(fā)以至于他們沒(méi)有發(fā)布任何東西。
所以,接下來(lái)的5年里,很多我們?cè)谘芯可鐓^(qū)中討論過(guò)的東西預(yù)計(jì)會(huì)變成更加普及和商品化的技術(shù),也會(huì)有很多新初創(chuàng)公司(還有我們的團(tuán)隊(duì))盡他們所能來(lái)用AI改善生活。
| Q5:剛從大學(xué)畢業(yè)的人想要進(jìn)AI實(shí)驗(yàn)室還需要掌握什么技能?對(duì)于FAIR或者其他工程領(lǐng)域來(lái)說(shuō),我們不特別要求學(xué)士或碩士學(xué)位(甚至類(lèi)似的大專(zhuān)學(xué)歷)??偸怯修k法證明你所具有的、在招聘時(shí)值得我們注意的能力,雖然在計(jì)算機(jī)科學(xué)或機(jī)器學(xué)習(xí)方面的頂級(jí)項(xiàng)目中取得優(yōu)異成績(jī)是我們注意到世界上最好人才的常見(jiàn)方式(很顯然)。
至于具體技能,見(jiàn)我之前的回答(Q2)。
| Q6:相比百度AI或谷歌AI,F(xiàn)acebookAI有哪些優(yōu)勢(shì)?我認(rèn)為有一些結(jié)構(gòu)方面的優(yōu)勢(shì):
我們已經(jīng)特別擅長(zhǎng)硬件、軟件、開(kāi)發(fā)平臺(tái)和基礎(chǔ)設(shè)施的建設(shè)來(lái)加速團(tuán)隊(duì)工作效率;
我們有全球最大的跨文化、多模態(tài)、結(jié)構(gòu)化、有組織的人們互動(dòng)的數(shù)據(jù)庫(kù);
我們100%承諾會(huì)用5到10年時(shí)間來(lái)開(kāi)拓AI領(lǐng)域,而且開(kāi)源并發(fā)表我們所有的技術(shù)以供行業(yè)使用。
| Q7:紐約科技比硅谷好在哪?在紐約,我們有繁榮的科技社群,還有很多其他產(chǎn)業(yè)。當(dāng)產(chǎn)品的客戶和開(kāi)發(fā)者之間有高頻率地接觸時(shí),一些很好的產(chǎn)品和創(chuàng)新成果會(huì)被研發(fā)出來(lái),因此如果你想要在為數(shù)不多的億萬(wàn)美元級(jí)的產(chǎn)業(yè)中有所作為的話,紐約是一個(gè)合適的選擇。
在FacebookNYC,我們能首先目睹這一切。幾乎我們所有的大型團(tuán)隊(duì)所關(guān)注的產(chǎn)品都因紐約(當(dāng)?shù)厝?、新聞和出版商)而獲得利益——負(fù)責(zé)AI研究和移動(dòng)設(shè)備基礎(chǔ)設(shè)施的團(tuán)隊(duì)要么和當(dāng)?shù)禺a(chǎn)業(yè)有緊密合作,進(jìn)而開(kāi)發(fā)有關(guān)城市環(huán)境體驗(yàn)的產(chǎn)品,要么以東海岸豐富的人才為中心(如AI研究院或移動(dòng)工程)。
| Q8:在FacebookAI實(shí)驗(yàn)室工作是怎樣的一種體驗(yàn)?如果我畫(huà)一個(gè)色譜圖,一端是小型個(gè)體研究項(xiàng)目,中間是很多研究人員或工程師的合作項(xiàng)目,另一端則是大規(guī)模團(tuán)隊(duì)項(xiàng)目和用于產(chǎn)品的系統(tǒng),在這個(gè)色譜圖中,我們會(huì)有很多項(xiàng)目同時(shí)進(jìn)行。事實(shí)上,任何個(gè)體研究人員或工程師經(jīng)常一次性參與很多項(xiàng)目的很多階段。我們討論過(guò)很多次的話題是,想法“傳送帶”將原型變?yōu)镕acebook的產(chǎn)品,這也是現(xiàn)在FAIR的一個(gè)特色。
雖然這讓管理者的工作變得很復(fù)雜,于是在MenloPark、紐約和巴黎有了一些辦公室,但是這對(duì)我們每一個(gè)參與的人來(lái)說(shuō)是很興奮的,也有成就感,因?yàn)橛泻芏喾N不同的方式來(lái)推進(jìn)科學(xué)。
| Q9:讓一個(gè)遠(yuǎn)程團(tuán)隊(duì)變得積極、緊密聯(lián)系并有高生產(chǎn)力,有哪些好方法?這里是一些技巧:
團(tuán)隊(duì)結(jié)構(gòu)很重要。分情況對(duì)待,遠(yuǎn)程團(tuán)隊(duì)中的單獨(dú)個(gè)體感到受挫的頻率以天為計(jì)算單位;需要遠(yuǎn)程管理的一小波人所組成的團(tuán)隊(duì)感到受挫的頻率以周來(lái)計(jì)算;遠(yuǎn)離主管或其他機(jī)構(gòu)領(lǐng)導(dǎo)的一個(gè)完整團(tuán)隊(duì)感到受挫的頻率以月計(jì)算;一個(gè)完整的機(jī)構(gòu),還具有自主性、遠(yuǎn)見(jiàn)和決策制定有可能永遠(yuǎn)也不會(huì)感到受挫;
人們需要周期性“全面同步”,特別是在關(guān)鍵時(shí)期,例如做出了一些決定或某些計(jì)劃被合并了。這些同步之間不能相隔太久,否則有可能存在風(fēng)險(xiǎn),如團(tuán)隊(duì)成員做錯(cuò)事或沒(méi)在相同的節(jié)奏上;
遠(yuǎn)程管理會(huì)感覺(jué)十分陌生而且具有強(qiáng)制性。你需要嘗試拜訪你的團(tuán)隊(duì),再三確定他們是決定制定過(guò)程和組織變化過(guò)程的一部分,因?yàn)槿绻悴贿@樣做,他們傾向于將這些看做是公司總部的強(qiáng)制命令(這會(huì)讓人感受到封閉);
雇員旅行訂票時(shí)不要有冗長(zhǎng)的條條框框,鼓勵(lì)他們經(jīng)常旅行。他們比你了解應(yīng)該何時(shí)到目的地更好。
強(qiáng)調(diào)他們的自主性,并保護(hù)它。如果他們感受到你的信任的話,他們會(huì)給你驚喜的。
| Q10:在你所知道的一些最成功的工程師中,有哪些共性?好問(wèn)題。經(jīng)過(guò)與一些很厲害的工程師共同開(kāi)發(fā)很多項(xiàng)目后,這里是我注意到的一些趨勢(shì):
軟件工程師主要擴(kuò)展的方式——還要記住在生產(chǎn)力方面可以有10或100的差距——是處理程序分塊(chunking)。一個(gè)會(huì)思考和熟練寫(xiě)代碼的工程師與一個(gè)在整個(gè)算法或系統(tǒng)的思考方面有經(jīng)驗(yàn)的工程師相比,后者效率更高。為了真的將一些事情組塊化,首先應(yīng)該掌握它,因此最好的工程師不僅僅能從抽象角度來(lái)描述系統(tǒng),他們準(zhǔn)確地知道內(nèi)部每一塊是如何運(yùn)作和相互影響的。
偉大的工程師都有第六感,這種第六感是關(guān)于何時(shí)何地來(lái)建立抽象部分。他們將代碼看做是開(kāi)發(fā)過(guò)程中最自然和最有靈活性的表達(dá)方式,而這一點(diǎn)不僅讓他們?cè)诒3执a的可讀性和簡(jiǎn)潔性方面很細(xì)心,而且也讓系統(tǒng)因精心選擇的抽象方式而更具力量和靈活性。
他們自己有很多工具。因此,解決問(wèn)題更像是選擇不同的工具,他們明白這一點(diǎn),也在不斷地?cái)U(kuò)大自己的工具庫(kù)。
他們易于合作且很成熟。這個(gè)工作的很多部分是交流并成為可靠的隊(duì)友,因而個(gè)性是十分重要的。偉大的工程師不需要是性格外向的人,他們不需要友善和易于相處,他們也不需要渴望成為管理者。但他們必須清楚如何用開(kāi)放而相互尊敬的方式來(lái)與他人合作。
| Q11:你對(duì)一家考慮建立遠(yuǎn)程工程辦公室的公司有什么建議?我觀察到,一些公司在成長(zhǎng)過(guò)程中感受到壓力,不管是內(nèi)部(來(lái)源于那些想要離開(kāi)的職員)和外部(來(lái)源于那些如果公司要搬走,他們就不加入公司的候選人),而且在這些時(shí)候,租用一個(gè)共享空間并讓這些人成立一間新辦公室這一選擇是很誘人的。
不幸的是,這保證了辦公室在公司尷尬但很小階段的成長(zhǎng)過(guò)程中比較有用。這樣的工程師將來(lái)的工作有可能都要通過(guò)遠(yuǎn)程團(tuán)隊(duì)來(lái)完成,這會(huì)導(dǎo)致低效率和受挫感的出現(xiàn);也有可能辦公室被強(qiáng)制專(zhuān)精某一產(chǎn)品或領(lǐng)域,這樣的話,辦公室后來(lái)很難有成長(zhǎng)。
因此,我對(duì)公司的建議是等待,然后當(dāng)你知道你可以沖刺為一個(gè)舒服的、可持續(xù)的規(guī)模時(shí),謹(jǐn)慎地設(shè)立一家辦公室。在FacebookNYC,我們用了4年時(shí)間從0成長(zhǎng)為350。我們一直快速地雇傭人才、設(shè)立更多和更深的研究項(xiàng)目,讓我們每一位早期工程師成為定義這家辦公室的一部分,因?yàn)檫@家辦公室就是圍繞他們而建立的。這使得FBNY更像是一家大公司內(nèi)部的快速成長(zhǎng)的初創(chuàng)公司,而不是一個(gè)被遺忘的小型機(jī)構(gòu)。
| Q12:為什么紐約部不像硅谷一樣開(kāi)發(fā)具有野心的技術(shù)(如,自動(dòng)駕駛車(chē))?首先,讓我指出一點(diǎn),晶體管——整個(gè)數(shù)字和信息時(shí)代的基石——是在紐約的郊區(qū)被發(fā)明出來(lái)的。
總體來(lái)說(shuō),硅谷受益于以技術(shù)為中心的高密度和專(zhuān)業(yè)化機(jī)構(gòu),然后再加上健康的基礎(chǔ)設(shè)施和將想法轉(zhuǎn)化為產(chǎn)品和可持續(xù)企業(yè)的生態(tài)系統(tǒng)。
紐約的優(yōu)勢(shì)是多樣性,技術(shù)同比增長(zhǎng)為40%(考慮到招聘),再加上以這里為中心的過(guò)剩的其他產(chǎn)業(yè)。大型科技公司,如我們(Facebook)也在茁壯成長(zhǎng),因此創(chuàng)業(yè)的生態(tài)圈、資金的基礎(chǔ)設(shè)施和對(duì)創(chuàng)意的培育在近幾年中呈現(xiàn)了爆炸式增長(zhǎng)。
我期待具有野心的創(chuàng)意——特別是那些能夠解決世界性問(wèn)題的想法,如健康護(hù)理、政府無(wú)障礙通行、教育等等——在接下來(lái)的10年里在這里成長(zhǎng),豐富這里的多樣性,進(jìn)而為這里的科技和創(chuàng)業(yè)精神產(chǎn)生巨大影響。
| Q13:如果讓你告訴那些對(duì)AI十分感興趣的初學(xué)者一件事情,它會(huì)是什么?現(xiàn)在這一研究社群有很多興奮的進(jìn)展,因?yàn)橐恢庇行碌陌l(fā)現(xiàn)被公布,基準(zhǔn)測(cè)試結(jié)果被不斷刷新。但是你不需要發(fā)明一些新的東西來(lái)從事AI工作。你需要復(fù)制這些成功的工具都是開(kāi)源的,而且很有可能你想要的網(wǎng)絡(luò)在Github上是開(kāi)放的,而且是預(yù)訓(xùn)練好并隨時(shí)可用的。
查看一下代碼;鼓搗一下模型看看會(huì)發(fā)生什么;在社群中問(wèn)問(wèn)題。這個(gè)領(lǐng)域需要更多的實(shí)踐者,和更多的人來(lái)將這些發(fā)現(xiàn)變?yōu)橛杏玫漠a(chǎn)品。
| Q14:運(yùn)行Facebook新聞紀(jì)要(Newsfeed)項(xiàng)目是怎樣的體驗(yàn)?我必須指出,NewsFeed項(xiàng)目最初成立是在2006年,那時(shí)我還沒(méi)有進(jìn)入Facebook。這個(gè)故事也基本上傳開(kāi)了,因此如果你有興趣的話,你應(yīng)該能在Quora的其他問(wèn)題中找到關(guān)于那些天的描述。
我在2007年才開(kāi)始從事NewsFeed項(xiàng)目的工作,幫助重寫(xiě)了后端部分,開(kāi)發(fā)了排序算法,領(lǐng)導(dǎo)了幾年的團(tuán)隊(duì)。這是我生涯中最好的體驗(yàn)——我無(wú)法表達(dá)出這讓我多么自豪:你關(guān)于人們?nèi)绾魏蜑槭裁聪嗷ヂ?lián)系的想法被采用,接著一路編譯到C++中,讓億萬(wàn)計(jì)的人實(shí)時(shí)得到他們所關(guān)心的內(nèi)容。
| Q15:在Facebook開(kāi)發(fā)AI產(chǎn)品的過(guò)程中,用到了那些編程語(yǔ)言?我們?cè)贔AIR用到了很多工具。主要有:
Lua(和Torch),用于原型制作、訓(xùn)練、調(diào)試、可視化等等;
CUDA,用于編寫(xiě)高性能模塊,GPU優(yōu)化模塊;
C/C++用于低層的編寫(xiě),Caffe用于產(chǎn)品;
Python、Matlab和一些其他工具用于一些專(zhuān)業(yè)的工作中;
| Q16:今天最富有挑戰(zhàn)性卻最簡(jiǎn)單的AI問(wèn)題?非監(jiān)督學(xué)習(xí)。
我們今天構(gòu)建的幾乎所有的東西都被我稱(chēng)為專(zhuān)業(yè)AI。我們有某個(gè)任務(wù)的足夠樣本,接著我們訓(xùn)練電腦在沒(méi)有我們的情況下完成任務(wù)。在我們的AI示例中沒(méi)有顯示出來(lái)的一件事是我們?cè)谌肆?biāo)記圖片、標(biāo)記視頻數(shù)據(jù)集等等方面花費(fèi)了多少精力才讓機(jī)器得到了足夠數(shù)據(jù)來(lái)學(xué)習(xí)完成某個(gè)任務(wù)。
人類(lèi)真的不是這樣學(xué)習(xí)的。我們能夠通過(guò)看、感知和體驗(yàn)現(xiàn)實(shí)來(lái)理解世界并在世界中進(jìn)行活動(dòng)。如果我們想要造出類(lèi)似通用AI的東西的話,我們要弄清楚如何從簡(jiǎn)單的觀察中進(jìn)行學(xué)習(xí)。換句話來(lái)說(shuō),我們要開(kāi)發(fā)出一個(gè)不需要人類(lèi)標(biāo)記來(lái)“監(jiān)督”的系統(tǒng)。
我不認(rèn)為有人真正破解了這個(gè)問(wèn)題,雖然有很多人嘗試,而且我們的模型和電腦要想成功處理這類(lèi)問(wèn)題,有可能還要變強(qiáng)大10或100或1000倍。
| Q17:FacebookAI研究院珍惜其研究人員發(fā)表的學(xué)術(shù)文章嗎?當(dāng)然,我們?cè)谠u(píng)估中很珍惜研究所帶來(lái)的影響,也珍惜產(chǎn)品所帶來(lái)的影響。我們無(wú)法完美的測(cè)量這些,但我們有一些方式。如果你的產(chǎn)品有影響,它可能為很多用戶服務(wù),帶來(lái)了很多互動(dòng)或者作為一個(gè)平臺(tái)吸引了很多使用者。如果你的研究有影響力,它可能會(huì)有很多次引用,在開(kāi)源社區(qū)中有很多人使用它,或者在Facebook中有很多產(chǎn)品團(tuán)隊(duì)在嘗試將其應(yīng)用到產(chǎn)品中。
注重影響力真的是讓Facebook取得如此成功的一個(gè)重要因素,這是我們?cè)诋a(chǎn)品和研究中都在關(guān)注的東西。
| Q18:Facebook會(huì)開(kāi)發(fā)和/或開(kāi)源深度學(xué)習(xí)專(zhuān)業(yè)硬件嗎?我們最近的硬件設(shè)計(jì)就是這樣做的,名為“BigSur”。