圖片來源：圖蟲創(chuàng)意

*本文經(jīng)AI新媒體量子位（公眾號(hào) ID: QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

4位評(píng)審一致接收，按理說這篇頂會(huì)論文就沒跑了。

可就在這兩天，UC伯克利的馬毅教授卻遇上了一件“奇事”：

課題組投稿ICML 2021的論文，在4個(gè)評(píng)審都給出了接收意見的情況下，被領(lǐng)域主席（AC）一票否決了。

而根據(jù)馬毅教授微博透露的信息，AC的理由是：

這篇論文尚不能解釋目前深度神經(jīng)網(wǎng)絡(luò)所有的tricks。

看到這樣的理由，馬毅教授的心情可能是這樣的：

于是，他直接在微博中質(zhì)疑道：

那已經(jīng)發(fā)表的成千上萬的關(guān)于深度網(wǎng)絡(luò)理論的文章是怎么發(fā)出來的就很讓人困惑了。

甚至表示“有的人可能并不希望把深度學(xué)習(xí)的原理搞清楚”。

究竟是怎樣一項(xiàng)研究，引起了這樣的爭(zhēng)議？

現(xiàn)在，馬毅課題組已經(jīng)將這項(xiàng)研究整理成一版期刊論文，公開發(fā)布在了arXiv上，并釋出了代碼和數(shù)據(jù)。

究竟是什么樣的研究

論文標(biāo)題是《ReduNet：A White-box Deep Network from the Principle of Maxinizing Rate Reduction》。

論文總共97頁，正文部分就達(dá)到了45頁。

根據(jù)摘要，這項(xiàng)工作的目的是提供一個(gè)合理的理論框架，旨在從數(shù)據(jù)壓縮和判別性表征原則的角度，來解釋現(xiàn)代深度（卷積）網(wǎng)絡(luò)。

文章還介紹了“白盒”神經(jīng)網(wǎng)絡(luò)ReduNet。這是一種通過推導(dǎo)最大編碼率衰減（MCR2）目標(biāo)的梯度而自然構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的每一層都可以用數(shù)學(xué)運(yùn)算來解釋，并且網(wǎng)絡(luò)的參數(shù)都是通過前向傳播逐層明確構(gòu)建的，無需用反向傳播算法進(jìn)行學(xué)習(xí)。

△ReduNet一層的權(quán)重和算子

此外，通過給網(wǎng)絡(luò)添加平移不變性的特征，卷積算子可以只使用數(shù)據(jù)和MCR2目標(biāo)函數(shù)來推導(dǎo)，這就使得ReduNet網(wǎng)絡(luò)設(shè)計(jì)具有原則性和可解釋性。

根據(jù)清華大學(xué)智能產(chǎn)業(yè)研究院學(xué)術(shù)沙龍海報(bào)中的信息，馬毅團(tuán)隊(duì)還表示，這種基于原理的方法還有以下好處：

• 揭示了不變深度網(wǎng)絡(luò)和傅里葉變換之間的基本聯(lián)系——也就是在譜域中計(jì)算的優(yōu)勢(shì)；

• 揭示了前向傳播算法（優(yōu)化）和反向傳播算法（變分）分別扮演的數(shù)學(xué)角色。

簡(jiǎn)單來說，這項(xiàng)研究是基于信息論，進(jìn)行了神經(jīng)網(wǎng)絡(luò)可解釋性方面的研究。

為此，論文從最大編碼率衰減的原則，到ReduNet的構(gòu)建，都給出了詳細(xì)的理論推導(dǎo)。

這篇論文也是此前馬毅課題組NeurIPS 2020論文《Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction》的延伸。

馬毅教授本人也對(duì)這項(xiàng)工作極有信心，他在微博中表示：

個(gè)人認(rèn)為，這是迄今為止真正最接近揭示深度神經(jīng)網(wǎng)絡(luò)理論與實(shí)踐基本原理的框架。

它隱含的意義甚至遠(yuǎn)遠(yuǎn)超出了僅僅解釋目前深度學(xué)習(xí)的范疇。

“已經(jīng)不是第一次了”

對(duì)于AC一票否決的評(píng)審結(jié)果，馬毅課題組提出了rebuttal。但他本人在評(píng)論區(qū)透露，AC并沒有改變看法，因此拒稿的結(jié)果不變。

而這樣論文被拒的經(jīng)歷，對(duì)馬毅來說“已經(jīng)不是第一次發(fā)生”。

他表示，其引用量最高的《基于稀疏表示的人臉識(shí)別》就曾在類似情況下被拒。這篇文章最后發(fā)表在了TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）上。

看到這種4個(gè)接收仍然被拒的情況，也有網(wǎng)友提出疑問：領(lǐng)域主席（AC）有權(quán)利直接否掉多達(dá)4名reviewer達(dá)成的意見嗎？

根據(jù)ICML的規(guī)則，領(lǐng)域主席的職責(zé)包括：為論文分配審稿人，確保審稿人按時(shí)提交審稿意見，為他們負(fù)責(zé)的每篇論文寫一份終審意見（meta-review），這份意見必須明確提出接受/拒絕的建議并概述理由。

一般而言，如果審稿人的意見比較一致，比如一致接受或一致拒絕，AC很少會(huì)做出相反的判斷。但此前也不乏審稿人評(píng)價(jià)不高的投稿論文，被AC重新“撈”出來的例子。

目前，馬毅已經(jīng)向ICML組織者提出：今后應(yīng)該做open review，如果AC要推翻reviewer們的一致建議，必須敢于公開身份拿出客觀證據(jù)。

網(wǎng)友熱議

對(duì)于這么一樁“奇聞”，有做過可解釋AI研究的網(wǎng)友認(rèn)為，這本就是一個(gè)巨大無比又各說各話的領(lǐng)域，加上視角差異，不要說解決可解釋性，能在一致認(rèn)知上取得進(jìn)步都不容易。同時(shí)，他認(rèn)為馬毅教授的這項(xiàng)研究足夠solid，后續(xù)還可以深入拓展。

也有網(wǎng)友認(rèn)為，AC可能是覺得“第一性原理”提的太大了，所以會(huì)給一個(gè)沒有解決全部問題的拒絕理由。

相關(guān)論文本身，同樣引發(fā)了不少學(xué)術(shù)圈網(wǎng)友的探討。不少網(wǎng)友在肯定的同時(shí)指出了一些問題。

有人認(rèn)為這項(xiàng)工作沒有揭示神經(jīng)網(wǎng)絡(luò)本身函數(shù)空間的性質(zhì)，對(duì)神經(jīng)網(wǎng)絡(luò)的可解釋性研究的還不夠全面。

知乎網(wǎng)友@Bio-voyager詳細(xì)聽完了馬毅老師的報(bào)告后也表示，該論文只給出了一個(gè)可解釋的觀點(diǎn)，這個(gè)觀點(diǎn)又有很多沒有說清楚和不夠普適的地方，需要等待馬毅老師后續(xù)工作跟進(jìn)，或者其他感興趣的人follow驗(yàn)證。

還有一位匿名網(wǎng)友認(rèn)為，論文提出的方法顯然合理，但論文中信息論的方法只是給出了一個(gè)現(xiàn)象性的描述，沒有觸及問題的本質(zhì)。和上面的網(wǎng)友的想法差不多，認(rèn)為該方法在深度網(wǎng)絡(luò)領(lǐng)域不夠普適，馬老師提出的這個(gè)準(zhǔn)則應(yīng)該也不是fundamental的。

而馬毅教授本人也在后續(xù)微博中表示：

真正想搞清楚深度學(xué)習(xí)的學(xué)者，認(rèn)真讀論文，嚴(yán)肅質(zhì)疑吧。形成自己的觀點(diǎn)，不要道聽途說，不要拾人牙慧，不要盲從權(quán)威——連馬老師的話也不要全信。我們的工作也只起了個(gè)頭，后續(xù)還有很多可以發(fā)展改進(jìn)的。

關(guān)于馬毅

馬毅教授是IEEE Fellow，ACM Fellow，SIAM Fellow，現(xiàn)任加州大學(xué)伯克利分校教授。

研究方向?yàn)橛?jì)算機(jī)視覺、高維數(shù)據(jù)分析、智能系統(tǒng)。

他1995年本科畢業(yè)于清華大學(xué)自動(dòng)化專業(yè)；1997 年獲UCB電子工程與計(jì)算機(jī)科學(xué)碩士學(xué)位；2000年獲UCB數(shù)學(xué)碩士學(xué)位和電子工程與計(jì)算機(jī)科學(xué)博士學(xué)位。

博士畢業(yè)后，馬毅先獲UIUC教職，后于2009年至2014年間任微軟亞洲研究院計(jì)算機(jī)視覺組主任及首席研究員。2014年，他以全職教授身份加入上?？萍即?a href="/O/49813" target="_blank" title="學(xué)信" class="goOId">學(xué)信息科學(xué)與技術(shù)學(xué)院，成為信息學(xué)院在計(jì)算機(jī)視覺研究方向上的帶頭人。

2017年，他從上?？萍即髮W(xué)離職。

截至目前，他的論文在谷歌學(xué)術(shù)上已被引數(shù)57797次。

論文鏈接：
https://arxiv.org/abs/2105.10446
https://arxiv.org/abs/2006.08558

參考鏈接：
[1]https://weibo.com/u/3235040884?profile_ftype=1&is_all=1#_0
[2]https://www.zhihu.com/question/423767542

本文轉(zhuǎn)載自微信公眾號(hào)“量子位”（ID：QbitAI），作者魚羊、豐色。文章為作者獨(dú)立觀點(diǎn)，不代表芥末堆立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。