活動
招聘
專題
打開CSDN APP
Copyright ? 1999-2020, CSDN.NET, All Rights Reserved
搜索博文/帖子/用戶
登錄
喜歡打醬油的老鳥
關註
深度學習技術發展趨勢淺析 轉載
2019-04-09 08:37:11
1點贊
喜歡打醬油的老鳥
碼齡2年
關註
/s/FtIhKiENv483iHE053RPkg
當前，人工智能發展借助深度學習技術突破得到了全面關註和助力推動，各國政府高度重視、資本熱潮仍在加碼，各界對其成為發展熱點也達成了***識。本文旨在分析深度學習技術現狀，研判深度學習發展趨勢，並針對我國的技術水平提出發展建議。
壹、深度學習技術現狀
深度學習是本輪人工智能爆發的關鍵技術。人工智能技術在計算機視覺和自然語言處理等領域取得的突破性進展，使得人工智能迎來新壹輪爆發式發展。而深度學習是實現這些突破性進展的關鍵技術。其中，基於深度卷積網絡的圖像分類技術已超過人眼的準確率，基於深度神經網絡的語音識別技術已達到95%的準確率，基於深度神經網絡的機器翻譯技術已接近人類的平均翻譯水平。準確率的大幅提升使得計算機視覺和自然語言處理進入產業化階段，帶來新產業的興起。
深度學習是大數據時代的算法利器，成為近幾年的研究熱點。和傳統的機器學習算法相比，深度學習技術有著兩方面的優勢。壹是深度學習技術可隨著數據規模的增加不斷提升其性能，而傳統機器學習算法難以利用海量數據持續提升其性能。二是深度學習技術可以從數據中直接提取特征，削減了對每壹個問題設計特征提取器的工作，而傳統機器學習算法需要人工提取特征。因此，深度學習成為大數據時代的熱點技術，學術界和產業界都對深度學習展開了大量的研究和實踐工作。
深度學習各類模型全面賦能基礎應用。卷積神經網絡和循環神經網絡是兩類獲得廣泛應用的深度神經網絡模型。計算機視覺和自然語言處理是人工智能兩大基礎應用。卷積神經網絡廣泛應用於計算機視覺領域，在圖像分類、目標檢測、語義分割等任務上的表現大大超越傳統方法。循環神經網絡適合解決序列信息相關問題，已廣泛應用於自然語言處理領域，如語音識別、機器翻譯、對話系統等。
二、深度學習發展趨勢
深度神經網絡呈現層數越來越深，結構越來越復雜的發展趨勢。為了不斷提升深度神經網絡的性能，業界從網絡深度和網絡結構兩方面持續進行探索。神經網絡的層數已擴展到上百層甚至上千層，隨著網絡層數的不斷加深，其學習效果也越來越好，2015年微軟提出的ResNet以152層的網絡深度在圖像分類任務上準確率首次超過人眼。新的網絡設計結構不斷被提出，使得神經網絡的結構越來越復雜。如：2014年谷歌提出了Inception網絡結構、2015年微軟提出了殘差網絡結構、2016年黃高等人提出了密集連接網絡結構，這些網絡結構設計不斷提升了深度神經網絡的性能。
深度神經網絡節點功能不斷豐富。為了克服目前神經網絡存在的局限性，業界探索並提出了新型神經網絡節點，使得神經網絡的功能越來越豐富。2017年，傑弗裏?辛頓提出了膠囊網絡的概念，采用膠囊作為網絡節點，理論上更接近人腦的行為，旨在克服卷積神經網絡沒有空間分層和推理能力等局限性。2018年，DeepMind、谷歌大腦、MIT的學者聯合提出了圖網絡的概念，定義了壹類新的模塊，具有關系歸納偏置功能，旨在賦予深度學習因果推理的能力。
深度神經網絡工程化應用技術不斷深化。深度神經網絡模型大都具有上億的參數量和數百兆的占用空間，運算量大，難以部署到智能手機、攝像頭和可穿戴設備等性能和資源受限的終端類設備。為了解決這個問題，業界采用模型壓縮技術降低模型參數量和尺寸，減少運算量。目前采用的模型壓縮方法包括對已訓練好的模型做修剪（如剪枝、權值***享和量化等）和設計更精細的模型（如MobileNet等）兩類。深度學習算法建模及調參過程繁瑣，應用門檻高。為了降低深度學習的應用門檻，業界提出了自動化機器學習（AutoML）技術，可實現深度神經網絡的自動化設計，簡化使用流程。