[發明專利]基于參數高效的深度殘差網絡模型的圖像分類方法

有效

• 申請號: 201710628311.6
• 申請日: 2017-07-28
• 公開（公告）號: CN107437096B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 林通;朱富勇
• 申請（專利權）人: 北京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

本發明公布了一種基于參數高效的深度殘差網絡模型的圖像分類方法，根據網絡的深度、寬度、多樣性和基數，建立具有參數高效性的改進的網絡模型，用于高效地進行圖像分類識別；包括：將圖像數據分為訓練樣本和測試樣本；對訓練樣本圖像進行預處理；構建具有參數高效性的深度殘差網絡模型，并進行模型訓練：構建得到的網絡模型包括深度金字塔殘差網絡模型、嵌套網絡模型、三角形網絡模型；將經過預處理的訓練樣本對網絡模型分別進行訓練，得到訓練好的網絡模型；對測試樣本進行識別，分別得到預測的分類標簽；由此實現圖像分類識別。

技術領域

本發明屬于模式識別、機器學習、人工智能領域，涉及圖像分類方法，具體涉及基于參數高效的深度殘差網絡模型的圖像分類方法。

背景技術

深度學習(Deep Learning)是目前人工智能領域最熱門的話題，在機器學習中起著十分重要的作用。最近幾年里，深度學習發展迅猛，在諸多領域里都取得了十分可觀的成績，尤其是在語音識別和圖像識別領域，遠遠超越了相關的傳統技術。深度學習的動機在于建立和模擬人腦的分層結構來解決機器學習問題，它是一種特征學習方法，原始數據通過多個簡單但非線性的處理層轉變成為更高層次的，更加抽象的表達。通過足夠多的非線性變換的組合，深度學習可以學習非常復雜的函數。

2006年，Geoffrey Hinton和他的學生Salakhutdinov提出了深度網絡和深度學習的概念，使得深度學習掀起了機器學習的又一次浪潮，從此受到廣泛關注。數據、模型和計算能力推動了深度學習的蓬勃發展。首先，我們現在處于大數據時代，大規模訓練數據的出現在很大程度上緩解了訓練過擬合的問題，并且使得深度學習可以在各個領域內施展身手，例如圖像識別領域的ImageNet，推薦領域的NetFlix，機器閱讀理解領域的MS MARCO等。其次，網絡模型的設計和優化方法都取得了很大的進步，深度學習能夠發現大規模數據中的復雜結構，并利用反向傳播算法(Back Propagation，BP)來根據前一層獲取的誤差改變當前層的參數，深度卷積神經網絡(Deep Convolutional Neural Networks，DCNN)在處理圖像、視頻和語音等方面帶來了突破，而遞歸神經網絡(Recurrent Neural Networks，RNN)在處理序列數據，比如文本和語音方面表現的極為優秀，批量歸一化(BatchNormaliazation，BN)，Dropout，權重歸一化(Weight Normaliazation，WN)等方法都有效地加速了網絡的訓練并且防止了過擬合現象。最后，得益于計算機硬件的快速發展，深度學習需要大量的浮點計算以及矩陣計算，圖形處理器(Graphics Processing Units，GPU)的出現為深度學習提供了這些計算能力，并且在相同的精度下，相對于傳統CPU，GPU擁有更快的處理速度、更少的服務器投入和更低的功耗，這些優勢使得我們可以訓練大規模的神經網絡。2017年，谷歌(Google)推出了自主研發的專為深度學習使用的張量處理單元(TensorProcessing Units，TPU)，其浮點運算能力，相比于傳統GPU和CPU分別高出了15倍和30倍之多。

深度學習在視覺領域中最直觀的進展體現在ImageNet大規模視覺識別挑戰賽(IamgeNet Large Scale Visual Recognition Competition,ILSVRC)中。ILSVRC旨在大規模數據上評估物體檢測算法和圖像分類算法，包括圖像分類、單目標定位、目標檢測等多項任務。在圖像分類任務中，訓練數據為ImageNet的一個子集，包含1000個類別，共120萬張圖片，驗證集和測試集共15萬張圖片，其中5萬張帶標簽的圖片作為驗證集，10萬張沒有公開標簽的圖片作為測試集，用來評估算法模型。評價標準采用top-5錯誤率，對于每一張圖片，只有一個真實標簽，算法會以置信度降序的方式預測最多五個物體類別，只要有一個與真實類別相同則認為預測正確，否則認為預測錯誤。