首先,在多倫多大學任教的70歲英國人 傑弗裏·辛頓開創了壹個名為“深度學習”的分支學科,這個分支學科已成為人工智能的同義詞;其次,57歲的法國人楊立昆,80年代在辛頓實驗室工作,現在紐約大學任教。第三個,54歲的約書亞·本吉奧,出生在巴黎,在蒙特利爾長大,現在蒙特利爾大學任教。
這三個人是親密的朋友和合作者,所以AI領域的人戲稱他們為“加拿大黑手黨”或“深度學習三巨頭”(前兩位可查看海森大數據微信公眾號之前的文章介紹)
不過, 辛頓於2013年去了谷歌, 楊立昆去了Facebook。兩人都保持著學術地位。但約書亞沒有去任何大公司,他創建了世界上最大的深度學習研究小組、獨立非營利組織:蒙特利爾學習算法研究所(MILA),然後拿走了圖靈獎。
約書亞——學術純粹主義者
約書亞1964年出生於法國巴黎,是壹名不折不扣的學霸。
他在麥吉爾大學的時候,就壹口氣獲得了電子工程學士學位、計算機科學學士學位和計算機科學博士學位。
接著約書亞還拿著NSERC獎學金,繼續到世界壹流名校麻省理工學院深造,成為壹名大腦和認知科學系的博士後研究員。
約書亞曾加入貝爾實驗室(貝爾實驗室自 1925 年建立以來就有著輝煌的歷史,壹***獲得兩萬五千多項專利,榮獲 8 次諾貝爾獎。),約書亞在貝爾實驗室進行學習和視覺算法的博士後研究,在這裏,約書亞結識了文章開頭提到的“三教父”之壹的楊立昆,並培養了深厚的友誼。從貝爾實驗室出來後,自1993年開始,約書亞壹直是蒙特利爾大學計算機科學和運算學系的壹名教授,他加入蒙特利爾大學後,常常被人提到的,既不是他經歷的趣聞,也不是他的教授生涯,而是同年他在蒙特利爾大學創建的學習算法研究所——Mila(全稱:Montreal Institute for Learning Algorithms)。
Mila專註於機器學習研究,包括但不僅限於深度學習和強化學習等。如今(2020年),Mila擁有包括教職員工和學生在內的大約500名研究人員,是世界上最大的深度學習研究小組,同時,作為壹家獨立的非營利組織,Mila還擁有著很多AI公司的研究實驗室。
教書育人、創辦非盈利的科研教育機構的同時,約書亞還研發了序列的概率模型。序列的概率模型被認為是1990年代神經網絡研究的巔峰之作,現代深度學習語音識別系統正在擴展這些概念。約書亞還撰寫了具有裏程碑意義的論文壹種神經概率語言模型,引入了高維詞嵌入和註意來表示詞義,對自然語言處理任務(包括語言翻譯、問題解答和視覺問題解答)產生了巨大而持久的影響。
自2010年以來,約書亞的有關深度學習的論文,特別是與伊恩·古德費洛(Ian Goodfellow)合作研發的生成對抗網絡(Generative Adversarial Networks ,簡稱GAN),引發了計算機視覺和計算機圖形學的革命。
“序列的概率模型”+“高維詞嵌入和註意”+“生成對抗網絡”=圖靈獎
2019年,約書亞榮獲2018年ACM AM圖靈獎,那壹年,還有兩人獲得了該榮譽,妳猜是誰?沒錯,就是傑弗裏·辛頓和楊立昆,從此,世間就有了“AI教父三人組”。