[發明專利]圖像分類模型訓練方法、圖像分類方法及對應裝置

有效

• 申請號: 202010834837.1
• 申請日: 2020-08-18
• 公開（公告）號: CN111950643B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 秦永強;李素瑩;宋亮;高達輝
• 申請（專利權）人: 創新奇智（上海）科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/764;G06V10/80;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本申請涉及人工智能技術領域，提供一種模型訓練方法、圖像分類方法及對應裝置。其中，模型訓練方法包括：將訓練圖像輸入至第一神經網絡進行處理，獲得第一特征圖；基于第一特征圖獲得第一注意力圖；分別根據第一注意力圖中全部通道的信息和單個通道的信息對訓練圖像進行非均勻采樣，獲得第一采樣圖像和第二采樣圖像；將第一采樣圖像輸入至第二神經網絡進行處理，獲得第一分類概率，將第二采樣圖像輸入至第三神經網絡進行處理，獲得第二分類概率；根據第一分類概率和第二分類概率計算分類預測損失，并根據分類預測損失更各新神經網絡的參數。該方法中的第一注意力圖通過學習自動定位分類所需的關鍵細節，無須依賴標注信息，有利于節約訓練成本。

技術領域

本發明涉及人工智能技術領域，具體而言，涉及一種模型訓練方法、圖像分類方法及對應裝置。

背景技術

圖像細分類是指對粗粒度的圖像大類進行更加細致的子類劃分，由于各子類間差異更加細微，因此往往只能借助于微小的局部差異才能區分出不同的類別。

目前，絕大多數的圖像細分類方法遵循這樣的流程框架：首先找到前景對象及其局部區域，之后分別對這些局部區域進行特征提取，最后基于提取到的特征完成分類器的訓練和預測。這些方法在模型訓練的時候，除了使用圖像的類別標簽外, 往往還需要使用局部區域位置等額外的人工標注信息，這些額外標注信息的獲取成本較高，費時費力。

發明內容

本申請實施例的目的在于提供一種模型訓練方法、圖像分類方法及對應裝置，以改善上述技術問題。

為實現上述目的，本申請提供如下技術方案：

第一方面，本申請實施例提供一種模型訓練方法，包括：將訓練圖像輸入至第一神經網絡進行處理，獲得所述第一神經網絡輸出的第一特征圖；基于所述第一特征圖獲得第一注意力圖，所述第一注意力圖中像素的取值與所述訓練圖像中對應像素被采樣到的概率正相關；根據所述第一注意力圖中全部通道的信息對所述訓練圖像進行非均勻采樣，獲得第一采樣圖像，以及，根據所述第一注意力圖中單個通道的信息對所述訓練圖像進行非均勻采樣，獲得第二采樣圖像；將所述第一采樣圖像輸入至第二神經網絡進行處理，獲得所述第二神經網絡輸出的第一分類概率，以及，將所述第二采樣圖像輸入至第三神經網絡進行處理，獲得所述第三神經網絡輸出的第二分類概率；根據所述第一分類概率以及所述第二分類概率計算分類預測損失，并根據所述分類預測損失利用反向傳播算法更新所述第一神經網絡、所述第二神經網絡以及所述第三神經網絡的參數。

在上述方法中，由于第一注意力圖中像素的取值與訓練圖像中對應像素被采樣到的概率正相關，從而根據第一注意力圖對訓練圖像進行非均勻采樣，第一注意力圖中像素取值較大的區域（即注意力集中分布的區域）會被分配更多的采樣點，對分類預測結果的影響也更顯著。

進一步的，第一注意力圖并非預先設定好的，而是基于第一神經網絡計算獲得的，由于第一神經網絡在訓練過程中會根據分類預測結果不斷進行參數調整，從而第一注意力圖中像素取值較大的區域會逐漸落在訓練圖像中有利于對其進行類別劃分的關鍵區域。也就是說，隨著訓練過程的深入，第一注意力圖能夠逐漸定位訓練圖像中那些對其正確分類起關鍵作用的細節，這一細節定位能力通過學習自動產生，無須依賴額外的標注信息，從而可以節約訓練成本，提高訓練效率，改善方法的實用性。

此外，上述方法所使用的圖像分類網絡可視為包含兩個分支網絡：全局分支網絡以及局部分支網絡，其中，全局分支網絡基于第一采樣圖像預測產生第一分類概率，由于第一采樣圖像是根據第一注意力圖中全部通道的信息對訓練圖像進行非均勻采樣得到的，所以第一采樣圖像中保留了訓練圖像的全局輪廓信息；局部分支網絡基于第二采樣圖像預測產生第二分類概率，由于第二采樣圖像是根據第一注意力圖中單個通道的信息對訓練圖像進行非均勻采樣得到的，所以第二采樣圖像中保留了訓練圖像的局部細節信息。然而，在最終計算預測損失時，該方法同時考慮了第一分類概率和第二分類概率，相當于通過知識蒸餾將局部分支網絡提取到的有助于圖像分類的局部細節信息融入至全局分支網絡，即充分、全面地利用了圖像中的信息用于分類，這樣訓練得到的圖像分類網絡具有較好的性能。