圖片來源：圖蟲創(chuàng)意

*本文經AI新媒體量子位（公眾號 ID: QbitAI）授權轉載，轉載請聯系出處。

4位評審一致接收，按理說這篇頂會論文就沒跑了。

可就在這兩天，UC伯克利的馬毅教授卻遇上了一件“奇事”：

課題組投稿ICML 2021的論文，在4個評審都給出了接收意見的情況下，被領域主席（AC）一票否決了。

而根據馬毅教授微博透露的信息，AC的理由是：

這篇論文尚不能解釋目前深度神經網絡所有的tricks。

看到這樣的理由，馬毅教授的心情可能是這樣的：

于是，他直接在微博中質疑道：

那已經發(fā)表的成千上萬的關于深度網絡理論的文章是怎么發(fā)出來的就很讓人困惑了。

甚至表示“有的人可能并不希望把深度學習的原理搞清楚”。

究竟是怎樣一項研究，引起了這樣的爭議？

現在，馬毅課題組已經將這項研究整理成一版期刊論文，公開發(fā)布在了arXiv上，并釋出了代碼和數據。

究竟是什么樣的研究

論文標題是《ReduNet：A White-box Deep Network from the Principle of Maxinizing Rate Reduction》。

論文總共97頁，正文部分就達到了45頁。

根據摘要，這項工作的目的是提供一個合理的理論框架，旨在從數據壓縮和判別性表征原則的角度，來解釋現代深度（卷積）網絡。

文章還介紹了“白盒”神經網絡ReduNet。這是一種通過推導最大編碼率衰減（MCR2）目標的梯度而自然構建的深度神經網絡，網絡的每一層都可以用數學運算來解釋，并且網絡的參數都是通過前向傳播逐層明確構建的，無需用反向傳播算法進行學習。

△ReduNet一層的權重和算子

此外，通過給網絡添加平移不變性的特征，卷積算子可以只使用數據和MCR2目標函數來推導，這就使得ReduNet網絡設計具有原則性和可解釋性。

根據清華大學智能產業(yè)研究院學術沙龍海報中的信息，馬毅團隊還表示，這種基于原理的方法還有以下好處：

• 揭示了不變深度網絡和傅里葉變換之間的基本聯系——也就是在譜域中計算的優(yōu)勢；

• 揭示了前向傳播算法（優(yōu)化）和反向傳播算法（變分）分別扮演的數學角色。

簡單來說，這項研究是基于信息論，進行了神經網絡可解釋性方面的研究。

為此，論文從最大編碼率衰減的原則，到ReduNet的構建，都給出了詳細的理論推導。

這篇論文也是此前馬毅課題組NeurIPS 2020論文《Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction》的延伸。

馬毅教授本人也對這項工作極有信心，他在微博中表示：

個人認為，這是迄今為止真正最接近揭示深度神經網絡理論與實踐基本原理的框架。

它隱含的意義甚至遠遠超出了僅僅解釋目前深度學習的范疇。

“已經不是第一次了”

對于AC一票否決的評審結果，馬毅課題組提出了rebuttal。但他本人在評論區(qū)透露，AC并沒有改變看法，因此拒稿的結果不變。

而這樣論文被拒的經歷，對馬毅來說“已經不是第一次發(fā)生”。

他表示，其引用量最高的《基于稀疏表示的人臉識別》就曾在類似情況下被拒。這篇文章最后發(fā)表在了TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）上。

看到這種4個接收仍然被拒的情況，也有網友提出疑問：領域主席（AC）有權利直接否掉多達4名reviewer達成的意見嗎？

根據ICML的規(guī)則，領域主席的職責包括：為論文分配審稿人，確保審稿人按時提交審稿意見，為他們負責的每篇論文寫一份終審意見（meta-review），這份意見必須明確提出接受/拒絕的建議并概述理由。

一般而言，如果審稿人的意見比較一致，比如一致接受或一致拒絕，AC很少會做出相反的判斷。但此前也不乏審稿人評價不高的投稿論文，被AC重新“撈”出來的例子。

目前，馬毅已經向ICML組織者提出：今后應該做open review，如果AC要推翻reviewer們的一致建議，必須敢于公開身份拿出客觀證據。

網友熱議

對于這么一樁“奇聞”，有做過可解釋AI研究的網友認為，這本就是一個巨大無比又各說各話的領域，加上視角差異，不要說解決可解釋性，能在一致認知上取得進步都不容易。同時，他認為馬毅教授的這項研究足夠solid，后續(xù)還可以深入拓展。

也有網友認為，AC可能是覺得“第一性原理”提的太大了，所以會給一個沒有解決全部問題的拒絕理由。

相關論文本身，同樣引發(fā)了不少學術圈網友的探討。不少網友在肯定的同時指出了一些問題。

有人認為這項工作沒有揭示神經網絡本身函數空間的性質，對神經網絡的可解釋性研究的還不夠全面。

知乎網友@Bio-voyager詳細聽完了馬毅老師的報告后也表示，該論文只給出了一個可解釋的觀點，這個觀點又有很多沒有說清楚和不夠普適的地方，需要等待馬毅老師后續(xù)工作跟進，或者其他感興趣的人follow驗證。

還有一位匿名網友認為，論文提出的方法顯然合理，但論文中信息論的方法只是給出了一個現象性的描述，沒有觸及問題的本質。和上面的網友的想法差不多，認為該方法在深度網絡領域不夠普適，馬老師提出的這個準則應該也不是fundamental的。

而馬毅教授本人也在后續(xù)微博中表示：

真正想搞清楚深度學習的學者，認真讀論文，嚴肅質疑吧。形成自己的觀點，不要道聽途說，不要拾人牙慧，不要盲從權威——連馬老師的話也不要全信。我們的工作也只起了個頭，后續(xù)還有很多可以發(fā)展改進的。

關于馬毅

馬毅教授是IEEE Fellow，ACM Fellow，SIAM Fellow，現任加州大學伯克利分校教授。

研究方向為計算機視覺、高維數據分析、智能系統。

他1995年本科畢業(yè)于清華大學自動化專業(yè)；1997 年獲UCB電子工程與計算機科學碩士學位；2000年獲UCB數學碩士學位和電子工程與計算機科學博士學位。

博士畢業(yè)后，馬毅先獲UIUC教職，后于2009年至2014年間任微軟亞洲研究院計算機視覺組主任及首席研究員。2014年，他以全職教授身份加入上海科技大學信息科學與技術學院，成為信息學院在計算機視覺研究方向上的帶頭人。

2017年，他從上?？萍即髮W離職。

截至目前，他的論文在谷歌學術上已被引數57797次。

論文鏈接：
https://arxiv.org/abs/2105.10446
https://arxiv.org/abs/2006.08558

參考鏈接：
[1]https://weibo.com/u/3235040884?profile_ftype=1&is_all=1#_0
[2]https://www.zhihu.com/question/423767542

本文轉載自微信公眾號“量子位”（ID：QbitAI），作者魚羊、豐色。文章為作者獨立觀點，不代表芥末堆立場，轉載請聯系原作者。