[發明專利]一種基于感受野集成的神經網絡圖像分類器的優化方法

有效

• 申請號: 201910378614.6
• 申請日: 2019-05-08
• 公開（公告）號: CN110211041B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 楊云;邵文昭
• 申請（專利權）人: 云南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 胡川

本發明公開了一種基于感受野集成的神經網絡圖像分類器的優化方法，包括以下步驟：從圖像數據集中篩選出樣本以分別構成訓練集和測試集；采用平移變換對訓練集進行處理，得到至少兩個不同的感受野，將處理結果作為神經網絡的輸入，以優化出分類器模型；利用測試集對訓練出的分類器模型進行正確性檢驗。本發明通過平移變換的方式控制神經網絡的感受野，將優化資源主要集中于圖像的中間區域，即最能反映圖像特征的區域，同時逐步利用邊緣區域進行修正，使得分類器對于圖像的主要特征更為關注。本發明在同等迭代次數下，較現有訓練方法可以訓練出準確率更高的分類器模型。

技術領域

本發明涉及計算機視覺領域，尤其是一種基于感受野集成的神經網絡圖像分類器的優化方法。

背景技術

分類是通過事務的屬性判斷其類別的一類任務。圖像分類就是判斷圖片中的物體所屬的類別，起到分類作用的算法就是分類器。神經網絡是圖像分類任務當中常見的一種分類器。在計算機視覺領域，基于機器學習的圖像分類方法包括訓練和檢驗兩個過程。通常的，在解決分類問題時，人們采用這樣的方法：將整個數據集劃分為訓練集和測試集，在訓練集上訓練(或稱為優化，在本發明中，兩種名稱含義相同)出分類器，在測試集上檢驗分類器的性能。這是機器學習對分類問題的解決辦法。對于神經網絡分類器來說，其訓練過程是由若干次迭代構成的，每次迭代都對分類器進行了一定的更新，從而使其獲得更好的分類效果。這樣的過程叫做優化。損失函數是衡量神經網絡在訓練集上的分類效果的標尺。損失是損失函數的輸出值。損失越小，神經網絡在訓練集上的分類效果越好。優化的過程，就是隨著迭代，不停地減少損失的過程。在整個優化過程中，迭代次數往往達數萬次、數十萬次甚至更多。對優化速度的調節，通過對學習率的設定來實現。在神經網絡的優化方法中，最常用的是隨機梯度下降(Stochastic?Gradient?Descent，SGD)及其變種。在分類器對樣本進行分類時，其依據是樣本本身的屬性，也就是樣本的特征。對于圖像分類任務來說，圖像的特征就是能夠推理出其類別的屬性。神經網絡分類器的優化，一方面是優化其提取特征的能力，一方面是優化其根據特征判斷類別的能力。

神經網絡包含若干層，四層及四層以上即為深度神經網絡，包含深度神經網絡的機器學習就是深度學習。在深度神經網絡中，卷積神經網絡(Convolutional?NeuralNetwork，CNN)[1]被廣泛應用于計算機視覺領域。

在深度學習與計算機視覺領域，感受野的含義有兩種。對單個神經元來說，指該神經元的輸入對應于原圖像的區域。對整個神經網絡來說，指神經網絡所接收到的圖像的范圍。比如說，某神經網絡接收的圖像是32x32像素的RGB三通道彩色圖像，那么其感受野就是32x32這樣的區域。最常見的神經網絡感受野有三種：32x32，224x224，227x227。

W_t+1＝W_t+V_t+1

上面兩個公式是目前在神經網絡優化問題中應用最廣泛的隨機梯度下降法。其它常用的優化方法，都是這種方法的變型。α表示學習率。

當優化時，隨著迭代次數的增加，學習率一般是減小的。也就是說，在剛開始優化時，優化速度通常很快；當優化了一段時間以后，優化的速度變得較慢。這樣一方面保證了優化的速度，一方面確保了優化的效果。

1、平移變換(Translation)[5]是一種圖像分類領域的數據增強[3]方法。深度神經網絡的參數很多，優化所需的訓練樣本很多，現實中的數據集的樣本容量往往無法滿足要求。例如，ResNet-110[2]有多達170萬個參數，而CIFAR-10數據集僅有5萬個訓練樣本和1萬個測試樣本，相當于每一個訓練樣本要優化34個參數，這就會使優化過程面臨過擬合的問題。

現有的優化方法僅僅將平移變換視為一般的數據增強方法。而忽略了從概率層面上改變神經網絡在優化過程中感受野的作用。