吳恩達(dá)剛剛在Quora做了一次最新session,重點(diǎn)回答了如何學(xué)習(xí)機(jī)器學(xué)習(xí)/深度學(xué)習(xí),以及如何從事機(jī)器學(xué)習(xí)方向工作的問(wèn)題。吳恩達(dá)認(rèn)為,復(fù)現(xiàn)他人發(fā)表的結(jié)果是一個(gè)掌握機(jī)器學(xué)習(xí)非常有效但卻被低估的方式;任何人都能成為機(jī)器學(xué)習(xí)專家,要做的只是不斷學(xué)習(xí),讓自己越來(lái)越夠格。
Q1:深度學(xué)習(xí)泡沫何時(shí)會(huì)破?
大約100年前關(guān)于電力也有很多炒作。那個(gè)泡沫現(xiàn)在也還沒(méi)破,我們發(fā)現(xiàn)電力很有用!
講真,深度學(xué)習(xí)已經(jīng)創(chuàng)造了大量的價(jià)值——用于網(wǎng)絡(luò)搜索,廣告,語(yǔ)音識(shí)別,推薦系統(tǒng)等等——這些顯然是不會(huì)消失的。深度學(xué)習(xí),還有更廣泛的其他AI工具(圖模型,規(guī)劃,KR等),現(xiàn)在都有一個(gè)明確的路徑在引導(dǎo)行業(yè)轉(zhuǎn)型。深度學(xué)習(xí)的影響將超越科技界。
話雖如此,我認(rèn)為在核心技術(shù)界之外,有一些過(guò)分夸張的對(duì)“有感知力的AI”(sentient AI)的期望;我也和很多CEO交流過(guò),他們似乎認(rèn)為AI是所有技術(shù)問(wèn)題的靈丹妙藥。所以,在深度學(xué)習(xí)中是有一些不必要的泡沫,我希望這些較小的泡沫破掉——在它們有時(shí)間發(fā)展壯大之前,越早破掉越好。
Q2:學(xué)完你在Coursera上的機(jī)器學(xué)習(xí)課以后可以做些什么項(xiàng)目?
想新項(xiàng)目的一個(gè)好方法是花時(shí)間研究以前的老項(xiàng)目。
大腦很神奇。當(dāng)你學(xué)習(xí)一類工作(例如ML項(xiàng)目)的許多例子后,你能學(xué)習(xí)概括并想出這類問(wèn)題新的例子。這也是為什么很多藝術(shù)家通過(guò)復(fù)制大師作品來(lái)學(xué)習(xí)繪畫(huà)——如果你參觀美術(shù)館,你有時(shí)會(huì)看到藝術(shù)生坐在地板上臨摹墻上展示的藝術(shù)作品。同樣,很多研究人員通過(guò)復(fù)現(xiàn)舊研究論文的結(jié)果來(lái)學(xué)習(xí)發(fā)明新的算法。對(duì)于我來(lái)說(shuō),正是因?yàn)樵诓煌墓究吹搅撕芏鄬?shí)際的ML案例,我現(xiàn)在才能定期為ML轉(zhuǎn)型公司找到新的機(jī)會(huì)。
所以,如果你想知道如何做有趣的項(xiàng)目,閱讀(也許復(fù)現(xiàn))你喜歡的以前的舊項(xiàng)目,你會(huì)開(kāi)始產(chǎn)生你自己的想法。你可以參考我斯坦福大學(xué)的學(xué)生最近的這個(gè)項(xiàng)目:CS 229機(jī)器學(xué)習(xí)最終項(xiàng)目,2016年秋。
最后,當(dāng)你完成一個(gè)有趣的項(xiàng)目時(shí),請(qǐng)寫(xiě)一篇Arxiv論文或博客文章,也許在Github上開(kāi)源代碼,并與社區(qū)分享!這樣,其他人現(xiàn)在可以反過(guò)來(lái)學(xué)習(xí)你。此外,你還可以獲得更多的反饋,從而加速你的學(xué)習(xí)。
除了研究以前的例子,我還花時(shí)間和人聊天,包括ML以外的領(lǐng)域?qū)<遥ɡ?,我花費(fèi)了大量時(shí)間與醫(yī)療保健專家進(jìn)行交談),這通常會(huì)激發(fā)新項(xiàng)目在ML和醫(yī)療保健等領(lǐng)域。
Q3:機(jī)器學(xué)習(xí)的初學(xué)者,學(xué)完了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)MOOC,怎樣才能更進(jìn)一步,提升到一個(gè)新的水平,能夠閱讀研究論文,并在行業(yè)中有貢獻(xiàn)?
課程是非常有效的學(xué)習(xí)方式,作為開(kāi)始很好。學(xué)完以后,下面是你可以采取一些額外的步驟:
關(guān)注Twitter上的ML大V,看看他們關(guān)注哪些研究論文/博客文章等。去看這些論文和文章。
復(fù)現(xiàn)他人發(fā)表的結(jié)果。這是一個(gè)掌握ML非常有效但卻被低估的方式。看到很多新的斯坦福大學(xué)博士生成長(zhǎng)為很棒的研究人員,我可以自信地說(shuō),復(fù)現(xiàn)他人的成果(不只是閱讀論文)是最有效的方式之一,這樣能確保你了解最新的細(xì)節(jié)算法。許多人大步躍進(jìn)試圖發(fā)明新的東西,當(dāng)然這也值得一試,但實(shí)際上發(fā)明新東西反而是學(xué)習(xí)和建立知識(shí)基礎(chǔ)比較慢的方式。
當(dāng)你看完足夠多的論文/博客,并復(fù)現(xiàn)足夠多的結(jié)果后,很奇妙地,你會(huì)開(kāi)始產(chǎn)生自己的意見(jiàn)和想法。當(dāng)你自己建立新的東西時(shí),發(fā)表一篇論文或博客文章,并考慮開(kāi)源代碼,與社區(qū)分享!這將有助于你從社區(qū)獲得更多反饋,并進(jìn)一步加速你學(xué)習(xí)的過(guò)程。
參加任何其他幫助你學(xué)習(xí)的活動(dòng),如在線比賽,線下討論會(huì),參加(或觀看在線視頻)好的AI/ML/視覺(jué)/NLP/語(yǔ)音學(xué)術(shù)大會(huì),比如ICML,NIPS和ICLR等會(huì)議。
找朋友跟你一起做。你可以自己取得很大的進(jìn)步,但跟朋友交換意見(jiàn)和想法將有助于你學(xué)習(xí),并使學(xué)習(xí)過(guò)程更有趣。如果你認(rèn)識(shí)教授,博士生或優(yōu)秀研究人員,也可以與他們多交流。有時(shí)候,我跟Geoff Hinton,Yoshua Bengio,Yann LeCun這些人交流5分鐘就學(xué)到一大堆的東西,當(dāng)然,跟來(lái)自我在斯坦福博士的博士生,deeplearning.ai的團(tuán)隊(duì)成員,還有我參觀的各個(gè)公司的工程師交流,也能得到很多啟發(fā)。
盡管跟朋友有合作很重要,但如果你朋友不同意你的想法,有時(shí)候你仍然應(yīng)該去做,自己嘗試去實(shí)現(xiàn)。Geoff Hinton在接受deeplearning.ai收集中說(shuō)過(guò)類似的話。
我知道的每個(gè)世界級(jí)的ML研究員都花了很多時(shí)間來(lái)實(shí)現(xiàn)算法,調(diào)整超參數(shù),閱讀論文,以及自己找出什么有用什么不起作用。我覺(jué)得這種類型的工作也很有趣,希望你也會(huì)這樣。
Q4:我想從事機(jī)器學(xué)習(xí)相關(guān)工作,但不知道自己是否夠格。有什么檢測(cè)的方法嗎?
你肯定夠格的!無(wú)論目前的知識(shí)水平如何,只要你不斷努力,繼續(xù)學(xué)習(xí),你就可以成為機(jī)器學(xué)習(xí)的專家,并且有很好的職業(yè)發(fā)展。
任何對(duì)機(jī)器學(xué)習(xí)感興趣的人,請(qǐng)從學(xué)習(xí)編程開(kāi)始。當(dāng)你掌握編程基礎(chǔ)后,可以考慮機(jī)器學(xué)習(xí)課程(比如Coursera的機(jī)器學(xué)習(xí)),然后考慮深度學(xué)習(xí)專門課程(比如deeplearning.ai)。
再進(jìn)一步,你可以閱讀研究論文(關(guān)注Twitter上的ML大V,看看他們感興趣的論文)。嘗試復(fù)現(xiàn)研究論文的結(jié)果就更好了。試著去復(fù)現(xiàn)他人的結(jié)果是掌握AI最有效的方法之一,可惜很少有用。你還可以考慮參加在線ML競(jìng)賽和學(xué)術(shù)會(huì)議等活動(dòng),并繼續(xù)閱讀書(shū)籍/博客/論文。
你是不是有資格在機(jī)器學(xué)習(xí)領(lǐng)域工作真的不重要——我確定你肯定夠資格!你要做的只是要去學(xué)習(xí),讓你越來(lái)越適合而已。
Q5:數(shù)學(xué)不好,該掌握哪些數(shù)學(xué)知識(shí)才能學(xué)好機(jī)器學(xué)習(xí)和AI?
我認(rèn)為機(jī)器學(xué)習(xí)中最重要的數(shù)學(xué)依次是:
線性代數(shù)
概率和統(tǒng)計(jì)
微積分(包括多變量微積分)
優(yōu)化
這以后其他的相關(guān)度都快速降低。我發(fā)現(xiàn)信息理論也有幫助。你可以在Coursera或大多數(shù)大學(xué)找到所有這些課程。
我認(rèn)為有機(jī)會(huì)學(xué)習(xí)相關(guān)數(shù)學(xué)和機(jī)器學(xué)習(xí)的博士已經(jīng)減少了,因?yàn)闄C(jī)器學(xué)習(xí)已經(jīng)變得更偏向經(jīng)驗(yàn)(基于實(shí)驗(yàn)),較少理論,特別是深度學(xué)習(xí)的興起,讓這一趨勢(shì)更加明顯。
我在讀博士的時(shí)候,很喜歡實(shí)分析,也研究了微分幾何,測(cè)度論和代數(shù)幾何。你如果能了解這些領(lǐng)域當(dāng)然更好,但如果時(shí)間有限,你可以考慮用更多的時(shí)間學(xué)習(xí)機(jī)器學(xué)習(xí)本身,甚至研究一些建立AI系統(tǒng)的其他技術(shù)基礎(chǔ),例如正在建設(shè)大型數(shù)據(jù)系統(tǒng)和如何組織巨型數(shù)據(jù)庫(kù)以及HPC(高性能計(jì)算)的算法。
Q6:AI該受管制嗎?
AI作為基本技術(shù)不應(yīng)受到管制。政府阻止你在筆記本電腦上實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)也是不現(xiàn)實(shí)的。然而,有的AI應(yīng)用,例如無(wú)人駕駛,是需要監(jiān)管的。AI在國(guó)際對(duì)反壟斷(監(jiān)管壟斷)領(lǐng)域也有新的影響,監(jiān)管機(jī)構(gòu)尚未對(duì)此有深入思考,但他們應(yīng)該對(duì)此有深入探討。
關(guān)于人工智能管制的討論大部分來(lái)源于對(duì)“有智慧的AI”(sentient AI)或“邪惡殺手機(jī)器人”的不理性的恐懼,而不是更深入地了解自己能做和不能做的事情之后的結(jié)果。今天的AI還不成熟,處于迅速發(fā)展期,任何國(guó)家的強(qiáng)硬監(jiān)管都會(huì)阻礙該國(guó)的AI發(fā)展。
然而,一些人工智能的應(yīng)用需要監(jiān)管來(lái)保護(hù)個(gè)人,并加速其采納進(jìn)程。汽車行業(yè)已受到嚴(yán)格監(jiān)管來(lái)確保人的安全,這將有助于整個(gè)行業(yè)發(fā)展。其他領(lǐng)域也相同,包括制藥,軍控,金融市場(chǎng)等。但是,監(jiān)管應(yīng)該是針對(duì)某一個(gè)行業(yè)的,并且基于對(duì)用例的深思熟慮,以及我們?cè)谔囟óa(chǎn)業(yè)而不是基本技術(shù)上看到的結(jié)果。
政府也可以發(fā)揮重要的作用,幫助在不遠(yuǎn)的未來(lái)那些受AI影響而失去工作的人,例如提供基本收入和再培訓(xùn)。
最后,AI的興起正在為公司競(jìng)爭(zhēng)創(chuàng)造新的途徑,各家競(jìng)相爭(zhēng)奪占主導(dǎo)權(quán),打擊競(jìng)爭(zhēng)對(duì)手。反壟斷監(jiān)管機(jī)構(gòu)遠(yuǎn)遠(yuǎn)不如企業(yè)對(duì)這一點(diǎn)理解深刻,需要做的還有很多。
Q7:我女兒剛剛學(xué)會(huì)走路,我應(yīng)該如何讓她準(zhǔn)備好迎接15年后的AI世界?我應(yīng)該教她Python嗎?
是的,請(qǐng)教她編碼。更重要的是,培養(yǎng)她能夠繼續(xù)學(xué)習(xí)的能力。
在CS世界中,我們所有人都習(xí)慣于每5年就要跳到新技術(shù)和思維模式(互聯(lián)網(wǎng)→云→移動(dòng)→AI/機(jī)器學(xué)習(xí)),因?yàn)樾录夹g(shù)以這樣的速度發(fā)明。所以,CS人也一直習(xí)慣于不斷學(xué)習(xí)新的事物。
現(xiàn)在CS幾乎感染了所有其他的行業(yè)。所以,現(xiàn)在不僅僅是CS世界每幾年都要改變。這就是為什么現(xiàn)在每個(gè)人都需要改變。這就是為什么能夠持續(xù)學(xué)習(xí)將是你能教你女兒最重要的職業(yè)技能。
我也認(rèn)為(差不多)每個(gè)人都應(yīng)該學(xué)習(xí)編碼。曾經(jīng)我們以為是不是不需要每個(gè)人都會(huì)讀書(shū)寫(xiě)字。是不是只有幾個(gè)僧侶能誦經(jīng)就好了,大多數(shù)人不需要讀/寫(xiě)?是不是只要少數(shù)人寫(xiě)出暢銷書(shū)就好了,其他人不需要會(huì)寫(xiě)?我們發(fā)現(xiàn),隨著讀寫(xiě)能力的提高,人與人之間的溝通變得更好:我們能寫(xiě)電子郵件,即使讀者只有一個(gè)人,這樣也有價(jià)值。
今天我們處于一個(gè)很少人可以編碼的時(shí)代。但是,如果每個(gè)人都可以編寫(xiě)代碼,也許經(jīng)營(yíng)一家小商店的夫妻倆可以編寫(xiě)幾行代碼來(lái)定制他們的LCD顯示屏,用于本周的促銷活動(dòng);或許丈夫可以寫(xiě)一個(gè)簡(jiǎn)單的應(yīng)用程序,唯一的觀眾將是他的妻子,就像他今天可以發(fā)送一封郵件,唯一的讀者是他的妻子一樣。
廣泛的掃盲改變了人與人之間的交流。 現(xiàn)在,人機(jī)交流也變得越來(lái)越重要,編碼能力將成為可以預(yù)見(jiàn)的未來(lái)最深層次的人機(jī)交流的基礎(chǔ)。 所以,我不同意那些認(rèn)為世界只需要幾百萬(wàn)程序員的人;我認(rèn)為幾乎每個(gè)人都應(yīng)該學(xué)習(xí)編程,就像幾乎每個(gè)人都應(yīng)該學(xué)習(xí)閱讀/寫(xiě)作一樣。
本文轉(zhuǎn)自微信公眾號(hào)“新智元”,原文來(lái)自Quora,由新智元文強(qiáng)編譯。
2、芥末堆不接受通過(guò)公關(guān)費(fèi)、車馬費(fèi)等任何形式發(fā)布失實(shí)文章,只呈現(xiàn)有價(jià)值的內(nèi)容給讀者;
3、如果你也從事教育,并希望被芥末堆報(bào)道,請(qǐng)您 填寫(xiě)信息告訴我們。