吳恩達剛剛在Quora做了一次最新session,重點回答了如何學習機器學習/深度學習,以及如何從事機器學習方向工作的問題。吳恩達認為,復現(xiàn)他人發(fā)表的結果是一個掌握機器學習非常有效但卻被低估的方式;任何人都能成為機器學習專家,要做的只是不斷學習,讓自己越來越夠格。
Q1:深度學習泡沫何時會破?
大約100年前關于電力也有很多炒作。那個泡沫現(xiàn)在也還沒破,我們發(fā)現(xiàn)電力很有用!
講真,深度學習已經(jīng)創(chuàng)造了大量的價值——用于網(wǎng)絡搜索,廣告,語音識別,推薦系統(tǒng)等等——這些顯然是不會消失的。深度學習,還有更廣泛的其他AI工具(圖模型,規(guī)劃,KR等),現(xiàn)在都有一個明確的路徑在引導行業(yè)轉型。深度學習的影響將超越科技界。
話雖如此,我認為在核心技術界之外,有一些過分夸張的對“有感知力的AI”(sentient AI)的期望;我也和很多CEO交流過,他們似乎認為AI是所有技術問題的靈丹妙藥。所以,在深度學習中是有一些不必要的泡沫,我希望這些較小的泡沫破掉——在它們有時間發(fā)展壯大之前,越早破掉越好。
Q2:學完你在Coursera上的機器學習課以后可以做些什么項目?
想新項目的一個好方法是花時間研究以前的老項目。
大腦很神奇。當你學習一類工作(例如ML項目)的許多例子后,你能學習概括并想出這類問題新的例子。這也是為什么很多藝術家通過復制大師作品來學習繪畫——如果你參觀美術館,你有時會看到藝術生坐在地板上臨摹墻上展示的藝術作品。同樣,很多研究人員通過復現(xiàn)舊研究論文的結果來學習發(fā)明新的算法。對于我來說,正是因為在不同的公司看到了很多實際的ML案例,我現(xiàn)在才能定期為ML轉型公司找到新的機會。
所以,如果你想知道如何做有趣的項目,閱讀(也許復現(xiàn))你喜歡的以前的舊項目,你會開始產(chǎn)生你自己的想法。你可以參考我斯坦福大學的學生最近的這個項目:CS 229機器學習最終項目,2016年秋。
最后,當你完成一個有趣的項目時,請寫一篇Arxiv論文或博客文章,也許在Github上開源代碼,并與社區(qū)分享!這樣,其他人現(xiàn)在可以反過來學習你。此外,你還可以獲得更多的反饋,從而加速你的學習。
除了研究以前的例子,我還花時間和人聊天,包括ML以外的領域專家(例如,我花費了大量時間與醫(yī)療保健專家進行交談),這通常會激發(fā)新項目在ML和醫(yī)療保健等領域。
Q3:機器學習的初學者,學完了機器學習和深度學習MOOC,怎樣才能更進一步,提升到一個新的水平,能夠閱讀研究論文,并在行業(yè)中有貢獻?
課程是非常有效的學習方式,作為開始很好。學完以后,下面是你可以采取一些額外的步驟:
關注Twitter上的ML大V,看看他們關注哪些研究論文/博客文章等。去看這些論文和文章。
復現(xiàn)他人發(fā)表的結果。這是一個掌握ML非常有效但卻被低估的方式??吹胶芏嘈碌乃固垢4髮W博士生成長為很棒的研究人員,我可以自信地說,復現(xiàn)他人的成果(不只是閱讀論文)是最有效的方式之一,這樣能確保你了解最新的細節(jié)算法。許多人大步躍進試圖發(fā)明新的東西,當然這也值得一試,但實際上發(fā)明新東西反而是學習和建立知識基礎比較慢的方式。
當你看完足夠多的論文/博客,并復現(xiàn)足夠多的結果后,很奇妙地,你會開始產(chǎn)生自己的意見和想法。當你自己建立新的東西時,發(fā)表一篇論文或博客文章,并考慮開源代碼,與社區(qū)分享!這將有助于你從社區(qū)獲得更多反饋,并進一步加速你學習的過程。
參加任何其他幫助你學習的活動,如在線比賽,線下討論會,參加(或觀看在線視頻)好的AI/ML/視覺/NLP/語音學術大會,比如ICML,NIPS和ICLR等會議。
找朋友跟你一起做。你可以自己取得很大的進步,但跟朋友交換意見和想法將有助于你學習,并使學習過程更有趣。如果你認識教授,博士生或優(yōu)秀研究人員,也可以與他們多交流。有時候,我跟Geoff Hinton,Yoshua Bengio,Yann LeCun這些人交流5分鐘就學到一大堆的東西,當然,跟來自我在斯坦福博士的博士生,deeplearning.ai的團隊成員,還有我參觀的各個公司的工程師交流,也能得到很多啟發(fā)。
盡管跟朋友有合作很重要,但如果你朋友不同意你的想法,有時候你仍然應該去做,自己嘗試去實現(xiàn)。Geoff Hinton在接受deeplearning.ai收集中說過類似的話。
我知道的每個世界級的ML研究員都花了很多時間來實現(xiàn)算法,調整超參數(shù),閱讀論文,以及自己找出什么有用什么不起作用。我覺得這種類型的工作也很有趣,希望你也會這樣。
Q4:我想從事機器學習相關工作,但不知道自己是否夠格。有什么檢測的方法嗎?
你肯定夠格的!無論目前的知識水平如何,只要你不斷努力,繼續(xù)學習,你就可以成為機器學習的專家,并且有很好的職業(yè)發(fā)展。
任何對機器學習感興趣的人,請從學習編程開始。當你掌握編程基礎后,可以考慮機器學習課程(比如Coursera的機器學習),然后考慮深度學習專門課程(比如deeplearning.ai)。
再進一步,你可以閱讀研究論文(關注Twitter上的ML大V,看看他們感興趣的論文)。嘗試復現(xiàn)研究論文的結果就更好了。試著去復現(xiàn)他人的結果是掌握AI最有效的方法之一,可惜很少有用。你還可以考慮參加在線ML競賽和學術會議等活動,并繼續(xù)閱讀書籍/博客/論文。
你是不是有資格在機器學習領域工作真的不重要——我確定你肯定夠資格!你要做的只是要去學習,讓你越來越適合而已。
Q5:數(shù)學不好,該掌握哪些數(shù)學知識才能學好機器學習和AI?
我認為機器學習中最重要的數(shù)學依次是:
線性代數(shù)
概率和統(tǒng)計
微積分(包括多變量微積分)
優(yōu)化
這以后其他的相關度都快速降低。我發(fā)現(xiàn)信息理論也有幫助。你可以在Coursera或大多數(shù)大學找到所有這些課程。
我認為有機會學習相關數(shù)學和機器學習的博士已經(jīng)減少了,因為機器學習已經(jīng)變得更偏向經(jīng)驗(基于實驗),較少理論,特別是深度學習的興起,讓這一趨勢更加明顯。
我在讀博士的時候,很喜歡實分析,也研究了微分幾何,測度論和代數(shù)幾何。你如果能了解這些領域當然更好,但如果時間有限,你可以考慮用更多的時間學習機器學習本身,甚至研究一些建立AI系統(tǒng)的其他技術基礎,例如正在建設大型數(shù)據(jù)系統(tǒng)和如何組織巨型數(shù)據(jù)庫以及HPC(高性能計算)的算法。
Q6:AI該受管制嗎?
AI作為基本技術不應受到管制。政府阻止你在筆記本電腦上實現(xiàn)神經(jīng)網(wǎng)絡也是不現(xiàn)實的。然而,有的AI應用,例如無人駕駛,是需要監(jiān)管的。AI在國際對反壟斷(監(jiān)管壟斷)領域也有新的影響,監(jiān)管機構尚未對此有深入思考,但他們應該對此有深入探討。
關于人工智能管制的討論大部分來源于對“有智慧的AI”(sentient AI)或“邪惡殺手機器人”的不理性的恐懼,而不是更深入地了解自己能做和不能做的事情之后的結果。今天的AI還不成熟,處于迅速發(fā)展期,任何國家的強硬監(jiān)管都會阻礙該國的AI發(fā)展。
然而,一些人工智能的應用需要監(jiān)管來保護個人,并加速其采納進程。汽車行業(yè)已受到嚴格監(jiān)管來確保人的安全,這將有助于整個行業(yè)發(fā)展。其他領域也相同,包括制藥,軍控,金融市場等。但是,監(jiān)管應該是針對某一個行業(yè)的,并且基于對用例的深思熟慮,以及我們在特定產(chǎn)業(yè)而不是基本技術上看到的結果。
政府也可以發(fā)揮重要的作用,幫助在不遠的未來那些受AI影響而失去工作的人,例如提供基本收入和再培訓。
最后,AI的興起正在為公司競爭創(chuàng)造新的途徑,各家競相爭奪占主導權,打擊競爭對手。反壟斷監(jiān)管機構遠遠不如企業(yè)對這一點理解深刻,需要做的還有很多。
Q7:我女兒剛剛學會走路,我應該如何讓她準備好迎接15年后的AI世界?我應該教她Python嗎?
是的,請教她編碼。更重要的是,培養(yǎng)她能夠繼續(xù)學習的能力。
在CS世界中,我們所有人都習慣于每5年就要跳到新技術和思維模式(互聯(lián)網(wǎng)→云→移動→AI/機器學習),因為新技術以這樣的速度發(fā)明。所以,CS人也一直習慣于不斷學習新的事物。
現(xiàn)在CS幾乎感染了所有其他的行業(yè)。所以,現(xiàn)在不僅僅是CS世界每幾年都要改變。這就是為什么現(xiàn)在每個人都需要改變。這就是為什么能夠持續(xù)學習將是你能教你女兒最重要的職業(yè)技能。
我也認為(差不多)每個人都應該學習編碼。曾經(jīng)我們以為是不是不需要每個人都會讀書寫字。是不是只有幾個僧侶能誦經(jīng)就好了,大多數(shù)人不需要讀/寫?是不是只要少數(shù)人寫出暢銷書就好了,其他人不需要會寫?我們發(fā)現(xiàn),隨著讀寫能力的提高,人與人之間的溝通變得更好:我們能寫電子郵件,即使讀者只有一個人,這樣也有價值。
今天我們處于一個很少人可以編碼的時代。但是,如果每個人都可以編寫代碼,也許經(jīng)營一家小商店的夫妻倆可以編寫幾行代碼來定制他們的LCD顯示屏,用于本周的促銷活動;或許丈夫可以寫一個簡單的應用程序,唯一的觀眾將是他的妻子,就像他今天可以發(fā)送一封郵件,唯一的讀者是他的妻子一樣。
廣泛的掃盲改變了人與人之間的交流。 現(xiàn)在,人機交流也變得越來越重要,編碼能力將成為可以預見的未來最深層次的人機交流的基礎。 所以,我不同意那些認為世界只需要幾百萬程序員的人;我認為幾乎每個人都應該學習編程,就像幾乎每個人都應該學習閱讀/寫作一樣。
本文轉自微信公眾號“新智元”,原文來自Quora,由新智元文強編譯。
來源:新智元