芥末堆芥末堆

機(jī)器學(xué)習(xí)的構(gòu)建應(yīng)該自頂向下還是自底向上?也許從孩子的世界可以找到答案

作者:Alison Gopnik 發(fā)布時(shí)間:

機(jī)器學(xué)習(xí)的構(gòu)建應(yīng)該自頂向下還是自底向上?也許從孩子的世界可以找到答案

作者:Alison Gopnik 發(fā)布時(shí)間:

摘要:科學(xué)家認(rèn)為機(jī)器學(xué)習(xí)的過(guò)程和兒童學(xué)習(xí)的過(guò)程十分相似,都是通過(guò)對(duì)外界的觀察和理解來(lái)是實(shí)現(xiàn)學(xué)習(xí)的過(guò)程。

捕獲.PNG

人類對(duì)于學(xué)習(xí)具有無(wú)可比擬的優(yōu)秀能力,我們可以從一個(gè)簡(jiǎn)單的樣本中學(xué)習(xí)到整類事物的抽象特征,而算法卻需要成千上萬(wàn)的樣本來(lái)習(xí)得認(rèn)知;我們可以利用已有的概念創(chuàng)造出新的事物。隨著人工智能的發(fā)展,人們逐漸將研究的重點(diǎn)轉(zhuǎn)移到算法的學(xué)習(xí)過(guò)程和學(xué)習(xí)的本質(zhì)上來(lái)。科學(xué)家認(rèn)為機(jī)器學(xué)習(xí)的過(guò)程和兒童學(xué)習(xí)的過(guò)程十分相似,都是通過(guò)對(duì)外界的觀察和理解來(lái)是實(shí)現(xiàn)學(xué)習(xí)的過(guò)程。人工智能專家們正在嘗試了解借鑒兒童的思維方式,以便更深入地理解機(jī)器認(rèn)識(shí)世界的過(guò)程。通過(guò)對(duì)兒童行為的仔細(xì)觀察和分析,科學(xué)家們似乎從中找到了一些可以指導(dǎo)未來(lái)研究的啟發(fā)。

在與孩子們長(zhǎng)期接觸的過(guò)程中,我們一定會(huì)驚嘆于人類快速高效的學(xué)習(xí)能力。從柏拉圖開始,哲學(xué)家們就對(duì)此問(wèn)題長(zhǎng)期求索而郁郁不得。你一定記得鄰家五歲的小朋友已經(jīng)對(duì)植物、動(dòng)物、時(shí)間、甚至恐龍,宇宙等概念有了初步的了解。在與人的相處過(guò)程中,他也學(xué)會(huì)了揣測(cè)別人的心思,意圖,和情感。他還會(huì)用自己看到和聽到的知識(shí)來(lái)做出新的發(fā)現(xiàn)和判斷。

通過(guò)接受透過(guò)視網(wǎng)膜的光子,振動(dòng)耳膜的聲音,小朋友便利用他迷人的大眼睛后的“中央神經(jīng)處理器”判斷出是食草的雷龍只是紙老虎。這個(gè)看似簡(jiǎn)單的問(wèn)題卻困擾著計(jì)算機(jī)科學(xué)家們:如何讓電腦也能如人腦般自由流暢的工作?孩子們只需要老師或家長(zhǎng)稍稍指導(dǎo)便可收獲儲(chǔ)量巨大的知識(shí)。盡管近些年來(lái)機(jī)器學(xué)習(xí)突飛猛進(jìn),但是即使最強(qiáng)大的計(jì)算機(jī)也無(wú)法與一個(gè)五歲孩子的學(xué)習(xí)能力相媲美。

計(jì)算機(jī)科學(xué)家們近十年來(lái)努力求索的終極目標(biāo)便是:解密大腦運(yùn)轉(zhuǎn)的奧秘,然后創(chuàng)造出一個(gè)同樣可以有效運(yùn)轉(zhuǎn)的數(shù)字版本的“電腦”。與此同時(shí),他們也在利用已有的知識(shí),在現(xiàn)有的基礎(chǔ)上來(lái)幫助人工智能更好的運(yùn)轉(zhuǎn)。

由此開始

在1950到1960之間,人工智能技術(shù)經(jīng)歷一輪短暫的爆發(fā)式發(fā)展后,一直停滯不前。過(guò)去幾年中,人工智能領(lǐng)域產(chǎn)生了驚人的進(jìn)步,尤其是把機(jī)器學(xué)習(xí)推向了研究的風(fēng)口浪尖之中。

許多烏托邦式的預(yù)言開始涌現(xiàn)在人們的視野之中,它們?cè)O(shè)想著人工智能將對(duì)世界帶來(lái)的不朽影響,徹底摧毀或者兼而有之的后果。人工智能的發(fā)展引起如此巨大恐慌的原因,也許來(lái)源于人類根深蒂固對(duì)于“類人”生物的恐懼。從中世紀(jì)的傀儡,到科幻小說(shuō)中的科學(xué)怪人Frankenstein,再到2015年電影Ex Machina中的戀愛機(jī)器人Ava,無(wú)一不反映了對(duì)于人造生物會(huì)打破人與其他生物之間隔閡的深深恐懼。但是機(jī)器真的可以像人一樣學(xué)習(xí)嗎?從人類的想象到徹底的變革之間的距離有多遠(yuǎn)?腳踏實(shí)地的回到解決技術(shù)問(wèn)題中來(lái),讓機(jī)器準(zhǔn)確識(shí)別一只貓,一段語(yǔ)言或者一些日本文字這些看似微不足道的任務(wù)卻也有一定難度。

解決辦法之一便是通過(guò)使機(jī)器能夠像孩子一樣通過(guò)接受透過(guò)視網(wǎng)膜的光子、振動(dòng)耳膜的聲音來(lái)識(shí)別圖像和聲音一樣,來(lái)識(shí)別計(jì)算機(jī)所能分辨的數(shù)字輸入:圖像象素點(diǎn)或者聲音信號(hào)。然后通過(guò)某種算法來(lái)提取周圍環(huán)境中的有效信息。

640BJVQ64BJ.jpg

神經(jīng)網(wǎng)絡(luò)這種方法的再次復(fù)興來(lái)源于深度學(xué)習(xí)這種新方法的蓬勃發(fā)展?,F(xiàn)在像Google, Facebook 或者其他科技巨頭公司都在產(chǎn)品中廣泛應(yīng)用響應(yīng)的技術(shù)。正如摩爾定律所述的一樣:計(jì)算機(jī)的力量也隨著計(jì)算能力的發(fā)展而呈指數(shù)型增長(zhǎng)??焖僭鲩L(zhǎng)的計(jì)算能力,巨大的數(shù)據(jù)集,對(duì)于深度學(xué)習(xí)的發(fā)展有著功不可沒(méi)的作用。豐富的數(shù)據(jù)信息,更好的數(shù)據(jù)處理能力使得計(jì)算機(jī)系統(tǒng)以超乎我們想象的方式高速發(fā)展。

近些年來(lái),人工智能領(lǐng)域在使用“由底向上”或是“由頂向下”兩種架構(gòu)而實(shí)現(xiàn)機(jī)器學(xué)習(xí)的矛盾中螺旋前進(jìn)?!坝身斚蛳隆钡姆椒ɡ孟到y(tǒng)已知的只是來(lái)推論新的知識(shí)。柏拉圖,或者諸如René Descartes這樣理性學(xué)派的哲學(xué)家們相信,而“由頂向下”的學(xué)習(xí)方法更加高效適用。在2000年左右,人工智能行業(yè)的概率論:貝葉斯模型也經(jīng)歷了重生。“由頂向下”的算法如同科學(xué)家們的思考方式一樣:基于對(duì)客觀世界的抽象和假設(shè),來(lái)預(yù)測(cè)數(shù)據(jù)的正確性。并且根據(jù)返回的結(jié)論來(lái)修正假設(shè)的正確性。

如何區(qū)分垃圾郵件

自底向上的方法比較容易理解。試想你正試圖使電腦自動(dòng)區(qū)分收件箱中的垃圾郵件和正常郵件,你也許會(huì)注意到,垃圾郵件有以下特征:一長(zhǎng)串收件人,發(fā)件地址來(lái)自尼日利亞或者保加利亞,提及到超過(guò)1百萬(wàn)金額的中獎(jiǎng)信息,關(guān)鍵字還有各種廣告。但是也許正常郵件中也會(huì)包含類似的信息,你可不想錯(cuò)過(guò)一次獲得升值或者學(xué)術(shù)獎(jiǎng)勵(lì)的機(jī)會(huì)。

如果你比較足夠多的垃圾郵件和正常郵件,也許你會(huì)發(fā)現(xiàn)只有垃圾郵件會(huì)有以下特點(diǎn):來(lái)自尼日利亞并且提及百萬(wàn)金額的獎(jiǎng)金。但是對(duì)于垃圾郵件的攔截,也許有更加高級(jí)的區(qū)分方式:比如錯(cuò)誤的拼寫加上壓根不存在的IP地址。如果你能發(fā)現(xiàn)它們,那么你便可以準(zhǔn)確的攔截這些垃圾郵件并且不錯(cuò)過(guò)你的偉哥訂購(gòu)郵件。

640AIDA2ODQ.jpg

自底向上的方法可以找出有用信息并且解決諸如垃圾郵件攔截這類的任務(wù)。為了達(dá)到這樣的目的,神經(jīng)網(wǎng)絡(luò)系統(tǒng)需要進(jìn)行它的自學(xué)習(xí)過(guò)程。他對(duì)一個(gè)巨大的數(shù)據(jù)庫(kù)進(jìn)行評(píng)估,對(duì)其中的樣本進(jìn)行標(biāo)記,區(qū)分垃圾郵件和正常郵件。最后,電腦提取出區(qū)分垃圾郵件和正常郵件的一系列特征。

通過(guò)相同的方式,神經(jīng)網(wǎng)絡(luò)可以區(qū)分標(biāo)記為“貓”或“房子”“劍龍”之類的圖片。通過(guò)提取相同類別圖片的共同屬性,來(lái)識(shí)別從未見到過(guò)的新的圖片。

另外一種稱之為非監(jiān)督學(xué)習(xí)的算法也是自底向上方法中的一個(gè)分支。但是這種方法并不對(duì)數(shù)據(jù)進(jìn)行標(biāo)記,它通過(guò)尋找不同聚類中的屬性來(lái)進(jìn)行學(xué)習(xí)。通過(guò)對(duì)不同的網(wǎng)絡(luò)節(jié)點(diǎn)分配不同的任務(wù),來(lái)達(dá)到這種深度學(xué)習(xí)。比如眼睛和鼻子,總是在臉上彼此相鄰,而不是以樹或者山為背景。

一篇2015年發(fā)表于Nature上的文章顯示了自底向上方法的優(yōu)越性。Google持股的DeepMind公司的研究員使用了深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)兩種自底向上的手段相結(jié)合,開發(fā)出了一款能熟練掌握Atari 2600游戲的電腦程序。

640NYYMRRVN.jpg

該程序一開始對(duì)這款游戲一無(wú)所知,它進(jìn)行隨機(jī)的嘗試并根據(jù)反饋信息來(lái)決定最佳的移動(dòng)策略。深度學(xué)習(xí)幫助該系統(tǒng)識(shí)別屏幕中的特征,當(dāng)它獲得高分時(shí),強(qiáng)化學(xué)習(xí)給出正反饋。通過(guò)此種方法,電腦快速的掌握了幾款游戲,甚至比專業(yè)的人類玩家表現(xiàn)更優(yōu)秀。對(duì)于其他人類易于掌握的游戲來(lái)說(shuō),人工智能的表現(xiàn)也十分出眾.

人工智能從數(shù)以百萬(wàn)計(jì)的例如ins照片,郵件,或是錄音中獲取信息,并進(jìn)一步學(xué)習(xí)的能力,使得原本看似不可能由機(jī)器來(lái)完成的問(wèn)題現(xiàn)在變得易于解決。即便如此,如果我們?cè)倩仡^看看鄰居家的小朋友就會(huì)驚訝于人類更強(qiáng)大的能力,他可以從極有限的信息和訓(xùn)練中,輕而易舉的獲得識(shí)別動(dòng)物或是對(duì)問(wèn)題給出回答的能力。對(duì)于五歲的孩子來(lái)說(shuō)的簡(jiǎn)單問(wèn)題,有些時(shí)候?qū)τ跈C(jī)器來(lái)說(shuō)依舊是難以解決的。甚至比讓它們學(xué)會(huì)下國(guó)際象棋還難。

計(jì)算機(jī)需要通過(guò)大量的數(shù)據(jù)訓(xùn)練,才能識(shí)別出一張長(zhǎng)了胡子的大毛臉,而完成此項(xiàng)任務(wù)對(duì)人類而言不費(fèi)吹灰之力。雖然計(jì)算機(jī)可以通過(guò)大量的訓(xùn)練識(shí)別出一個(gè)它從未見過(guò)的貓咪圖案,但是由于計(jì)算機(jī)與人類的思維方式不同,依舊有些本是貓咪的圖片沒(méi)有被標(biāo)記,而另外一些圖片被進(jìn)行了誤標(biāo)記。而這種錯(cuò)誤對(duì)人類而言基本不可能發(fā)生

飛流直下

近些年來(lái),在人工智能領(lǐng)域,另一條解決方法是向著相反的路線而進(jìn)行的,既:自頂而下。該種方法基于這樣一個(gè)假設(shè):我們可以從如我們的大腦的工作方式一樣,從具體的信息中抽象提取出我們所要的信息,是一種從一般到特殊的過(guò)程。我們可以像科學(xué)家們一樣,運(yùn)用這些概念與假設(shè)來(lái)預(yù)測(cè)未知事物。

為了更好地理解這個(gè)概念,我們回到一開始提出的垃圾郵件判別問(wèn)題中來(lái)。我收到了一封來(lái)自一個(gè)名稱奇怪的雜志社編輯的郵件,郵件中提到了我寫過(guò)的一篇文章并且希望我為該雜志再寫一篇文章發(fā)表。沒(méi)有提到:尼日利亞,廣告或者百萬(wàn)美金這些概念。似乎與垃圾郵件的特征一點(diǎn)也不吻合。但是通過(guò)自頂而下的思考方式,我卻很可能把該郵件定性為一封垃圾郵件。

垃圾郵件試圖利用人們的貪婪來(lái)賺錢,學(xué)者們對(duì)于發(fā)表文章的貪婪和贏得壹佰萬(wàn)元或者獲更好的體驗(yàn)的渴望是一樣的。合法的開架雜志已經(jīng)開始從作者方面收錢而不是從讀者方面收錢,而且我的工作與這個(gè)期刊所覆蓋的內(nèi)容也并沒(méi)有什么關(guān)聯(lián)。綜上所述,我得出了該郵件是為了騙取學(xué)者們自掏腰包發(fā)表一個(gè)山寨期刊的垃圾郵件,通過(guò)在搜索引擎中檢查該編輯的通訊地址,可以進(jìn)一步驗(yàn)證推斷的正確性。

640[4].png

計(jì)算機(jī)科學(xué)家們會(huì)把我的思考過(guò)程稱為“生成模型”。一種能夠代表諸如貪婪,欺騙等抽象概念的模型。用此種模型,同樣可以推斷出一封郵件是否是垃圾郵件。通過(guò)該模型,我可以了解到垃圾郵件是如何工作的,也可以使我能夠有能力區(qū)分其他種類的垃圾郵件。當(dāng)我收到來(lái)自雜志社的郵件時(shí),這個(gè)模型讓我能一步步推斷出某郵件之為垃圾郵件的原因。

在20世紀(jì)五六十年代興起的第一波人工智能浪潮中,生成模型具有不可替代的作用,但是它們也有其限制。首先,大部分模式可以用不止一種假設(shè)來(lái)解釋。比如拿前面我給出的郵件為例,可能那封關(guān)于在開架雜志上發(fā)表文章的郵件是合法的。所以,生成模型必須與“概率”相伴。概率理論也是最近該領(lǐng)域中的重要研究方法。其次,關(guān)于這些概念的來(lái)源是未知的,盡管諸如Descartes ,Noam Chomsky 這些思想家們認(rèn)為這些是我們與生俱來(lái)的,但是我們真的生來(lái)就明白貪婪或者欺騙會(huì)倒置欺詐嗎?

以十八世紀(jì)的統(tǒng)計(jì)學(xué)家和哲學(xué)家Thomas Bayes而命名的貝葉斯模型,是自頂而下方法中的一個(gè)重要分支。試圖去彌補(bǔ)生成模型中提到的兩個(gè)缺點(diǎn)。通過(guò)貝葉斯推理的手段結(jié)合了生成模型和概率論。概率生成模型可以告訴你在某假設(shè)前提成立的條件下,某件事情發(fā)生的可能性,舉例來(lái)說(shuō),如果那封郵件是一封騙局那么它可能會(huì)吸引貪婪的讀者,但是,一個(gè)能吸引貪婪讀者的消息并不一定都是騙局。貝葉斯模型能夠使你在現(xiàn)有假設(shè)的基礎(chǔ)之上進(jìn)行精確的計(jì)算。

自頂向下的方法更適合我們運(yùn)用于了解孩子們的學(xué)習(xí)過(guò)程,在過(guò)去的十五年中,研究人員們致力于用貝葉斯理論來(lái)研究孩子們學(xué)習(xí)原因和結(jié)果關(guān)系的發(fā)展,預(yù)測(cè)孩子們?cè)诤螘r(shí)何種情況下會(huì)形成對(duì)于世界的新認(rèn)知,又是在何種情況下打破這個(gè)認(rèn)知的。

貝葉斯方法也是教會(huì)機(jī)器像人類一樣思考的好方法。識(shí)別不熟悉手寫字母這項(xiàng)任務(wù)對(duì)于人來(lái)說(shuō)輕而易舉,對(duì)于計(jì)算機(jī)來(lái)說(shuō)卻很困難。2015年MIT的Joshua B和紐約大學(xué)的Brenden M. Lake以及他們的同事們?cè)赟cience上面發(fā)表了一篇研究,他們?cè)O(shè)計(jì)出了一種可以達(dá)到此目的的人工智能系統(tǒng)。

640VF85ZS0O.jpg

圖:學(xué)習(xí)事物的抽象,并從已有的概念創(chuàng)造新的概念

當(dāng)我們?cè)谌毡揪磔S畫上看到一個(gè)從見過(guò)的文字時(shí),我們也可以較輕松的分辨出它們與另外一個(gè)卷軸上的文字是否是一個(gè)體系。你也許能臨摹幾筆,甚至創(chuàng)造出一個(gè)假的日本字。也能非常明確地分辨出它們與韓國(guó)文字或俄羅斯文字的不同。Tenenbaum的團(tuán)隊(duì)可以利用軟件來(lái)實(shí)現(xiàn)此功能。

對(duì)于自底而上的方法而言,計(jì)算機(jī)需要輸入成千上萬(wàn)的歷程來(lái)學(xué)習(xí)分辨一種新文字。而使用貝葉斯理論,我們給定機(jī)器一種該文字的基本模型;比如:筆畫是向左還是向右,當(dāng)軟件識(shí)別完其中一個(gè)時(shí),它會(huì)自動(dòng)開始識(shí)別下一個(gè)。當(dāng)特定的文字被程序識(shí)別時(shí),程序推斷書寫該文字的筆畫順序,并且在內(nèi)部建立一系列筆畫。正如我推斷一封郵件是否是詐騙郵件的過(guò)程相似。Tenenbaum的這種自頂向下的模型比機(jī)器學(xué)習(xí)模型工作的更好,并且與人類思考的行為契合度更高。

完美的結(jié)合

自底向上與自頂向下的兩種機(jī)器學(xué)習(xí)的方法,有其各自的優(yōu)勢(shì)和劣勢(shì)。對(duì)于自底向上的方法而言,計(jì)算機(jī)不需要理解什么是貓這個(gè)概念,但是卻需要大量的信息輸入。自頂向下的貝葉斯體系可以從幾個(gè)例子中總結(jié)歸納出經(jīng)驗(yàn),但是卻需要大量的前期工作,從而做出合理的抽象和假設(shè)。兩種方法都只能工作在相對(duì)較窄的有限領(lǐng)域之內(nèi),例如前面提到的識(shí)別文字,圖片(貓)或是Atari游戲。

孩子們卻不會(huì)受制于這些約束。發(fā)展心理學(xué)家們發(fā)現(xiàn),孩子們善于尋找每種方法的優(yōu)點(diǎn),并且把它們發(fā)揚(yáng)光大。他們可以從一兩個(gè)例子中學(xué)習(xí)提取,如同自頂向下的方法那樣,同時(shí)他還可以從例子中總結(jié)歸納,如同自底下上的方法。

孩子們擁有的能力遠(yuǎn)不僅限于此,他可以創(chuàng)造出在他的背景知識(shí)和經(jīng)歷之外的東西。有的孩子甚至提出,如果一個(gè)成年人想返老還童,就應(yīng)該拒絕食用任何健康的蔬菜,因?yàn)楹⒆觽兂粤诉@些而長(zhǎng)大變成熟了。我們根本不知道這些新奇的想法是從哪里冒出來(lái)的!

當(dāng)我們面對(duì)人工智能也許帶來(lái)的挑戰(zhàn)時(shí),也應(yīng)該想想人類大腦偉大而神秘的力量。人工智能和機(jī)器學(xué)習(xí)的概念聽上去十分嚇人,在某種程度上也許確實(shí)如此,軍隊(duì)里面甚至已經(jīng)開始了研制于此相關(guān)的武器。無(wú)知的愚昧可能會(huì)引起比人工智能更加令人恐慌的災(zāi)難性后果,人類也需要擁有比過(guò)去更高的智慧來(lái)應(yīng)對(duì)這些新科技的挑戰(zhàn)。相比于對(duì)于人類思考方式的認(rèn)識(shí)的顛覆性提高,摩爾法則在現(xiàn)階段更加具有影響力。隨著計(jì)算能力的飛速提高,我們不應(yīng)當(dāng)新技術(shù)視為洪水猛獸,而是要善加利用不斷地造福人類。

本文轉(zhuǎn)自將門創(chuàng)投,作者 Alison Gopnik,文章為作者獨(dú)立觀點(diǎn),不代表芥末堆立場(chǎng)。

1、本文是 芥末堆網(wǎng)轉(zhuǎn)載文章,原文:將門創(chuàng)投;
2、如果你也從事教育,并希望被芥末堆報(bào)道,請(qǐng)您 填寫信息告訴我們。
來(lái)源:將門創(chuàng)投
芥末堆商務(wù)合作:王老師 18710003484
  • 機(jī)器學(xué)習(xí)的構(gòu)建應(yīng)該自頂向下還是自底向上?也許從孩子的世界可以找到答案分享二維碼