華人學生寫出2840頁博士論文 感謝名單20頁 包括載過他的司機
一篇論文的篇幅竟然多達數千頁,比很多教材都要厚,這簡直無法想像。不過,學術界的「能人異士」層出不窮,德州大學奧斯汀分校的CS博士生Zhao Song就做到了。
這是一篇2019年8月提交的博士論文,總篇幅達到了2840頁,其中目錄就佔了31頁。此外在致謝部分,論文作者還以整整20頁的篇幅感謝了合作者、提供寶貴意見以及讀博期間幫助過他的人。
點圖看看這份2840頁的超級巨無霸論文▼▼▼
不過,作者在論文第1頁做了免責聲明,表示:「這篇論文不符合德州大學奧斯汀分校當前的寫作格式指南,論文僅供參考使用。」下面讓我們簡單了解下這篇巨長的博士論文到底講了些什麼。
矩陣(matrix)在很多理論計算機科學和機器學習問題中發揮至關重要的作用。在這篇博士論文中,作者旨在提供對矩陣的更好理解,並且文中的很多見解對古老的、已經得到充分研究的算法問題帶來了改進。具體來講,作者從三個層面對計算機科學和機器學習領域的矩陣展開了研究。
首先,他探究了矩陣在優化算法中的作用。作者研究了大量的矩陣優化問題,並針對線性規劃、經驗風險最小化、常微分方程和深度神經網絡提供了新的求解方法和結果。其中,在線性規劃優化問題中,作者提出了一種在當前矩陣乘法時間上運行的新算法,並表示Gaussian「解決了停滯了三十年之久的研究障礙」。此外,該算法可以泛化至多種多樣的凸優化問題,即經驗風險最小化問題。具體算法如下所示:
然後,他探究了隨機矩陣中的集中不等式問題。具體來講,作者將大量的切爾諾夫(Chernoff)類型的標量集中不等式和斯賓塞(Spencer)類型的差異定理泛化到矩陣中。
標量隨機變量集中的切爾諾夫邊界是隨機算法分析中的基本工具。過去十年,切爾諾夫邊界的矩陣泛化得到廣泛應用,但這種泛化存在著一定的限制,並且是否可以消除這些限制的問題也懸而未決。通過提供大量更寬鬆獨立性假設條件下新的矩陣切爾諾夫邊界,作者對這一問題給出了肯定的答案。
以下為定理8.1.1:k均勻強瑞利分佈(Strongly Rayleigh Distribution)的矩陣切爾諾夫邊界。
斯賓塞定理是差異理論中的一個著名結果,但如何將斯賓塞定理泛化至矩陣設置中這個重要問題卻沒有得到解決。作者在這方面取得了一些進展,並證明了在某些限制設置條件下斯賓塞定理可以實現矩陣泛化。並且,文中的結果可以泛化至著名的卡迪森-辛格猜想(Kadison-Singer conjecture)問題。
以下為定理1.3.4:卡迪森- 辛格問題。
最後,他提出了一系列求解矩陣問題的新算法。新算法大致可以分為兩類:矩陣分解問題和結構化重建問題。在矩陣分解算法上,針對各種低秩矩陣分解,作者提出了新的算法,包括一些新的固定參數可處理的算法;在結構化重建算法上,針對一些具有結構矩陣的重建任務,給出了新的算法。例如,作者重新考慮了L2/L2的壓縮感知問題,提出了編碼速度更快和列稀疏更小的算法。此外,作者還給出了針對傅里葉變換(Fourier transform)的快速算法等。
論文作者Zhao Song本科畢業於The Simons Institute for the Theory of Computing,獲得了Computer Science學士學位,博士畢業於University of Texas at Austin Computer Science學系,由Eric Price教授指導。在進入德克薩斯大學之前,Zhao Song曾是哈佛大學的訪問學者,也在IBM研究中心實習過。
Zhao Song的研究領域廣泛,涉及機器學習、理論計算機科學和數學,如深度學習理論、對抗樣本、強化學習、線性回歸、矩陣/ 張量分解、線性規劃、傅立葉變換等。論文被引用次數超過2000次:
【本文轉自「機器之心」,微信公眾號:almosthuman2014】