[發(fā)明專利]基于變換器模型和卷積神經(jīng)網(wǎng)絡的圖像場景分類方法

有效

• 申請?zhí)枺?/td>: 202110683770.0
• 申請日: 2021-06-21
• 公開（公告）號: CN113128527B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設計）人: 謝毓湘;張家輝;宮銓志;閆潔;欒悉道;魏迎梅;康來;蔣杰
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙國科天河知識產(chǎn)權(quán)代理有限公司 43225
• 代理人: 段盼姣

1.基于變換器模型和卷積神經(jīng)網(wǎng)絡的圖像場景分類方法，其特征在于，所述方法包括：

獲取圖像樣本；

將所述圖像樣本輸入場景分類模型，所述場景分類模型包括場景卷積神經(jīng)網(wǎng)絡、對象卷積神經(jīng)網(wǎng)絡以及變換器模型；

其中，所述場景卷積神經(jīng)網(wǎng)絡以及對象卷積神經(jīng)網(wǎng)絡均以緊密網(wǎng)絡161為基礎進行構(gòu)建，所述緊密網(wǎng)絡161是指DenseNet161；

其中，所述變換器模型包括12層依次連接的編碼單元以及12層依次連接的解碼單元，其中最后一層編碼單元的輸出與各層解碼單元連接；

所述編碼單元包括兩個層歸一化層、多頭自注意力層以及多層感知機層，所述層歸一化層是指LayerNorm層；

所述解碼單元包括兩個層歸一化層、多頭自注意力層、多層感知機層以及多頭注意力層；

對所述圖像樣本進行預處理得到標準化圖像樣本，分別通過所述場景卷積神經(jīng)網(wǎng)絡以及對象卷積神經(jīng)網(wǎng)絡對所述標準化圖像樣本進行特征提取，相應得到場景特征以及對象特征；

對所述圖像樣本進行嵌入操作，得到與所述圖像樣本相關(guān)的嵌入圖像，其中所述嵌入操作是指embedding操作；

對所述場景特征、對象特征以及嵌入圖像分別進行圖詞轉(zhuǎn)換，相應得到場景圖詞、對象圖詞以及圖像圖詞，其中所述圖詞 轉(zhuǎn)換是指將所述場景特征、對象特征以及嵌入圖像轉(zhuǎn)換為可輸入變換器模型的圖詞模式，其中圖詞指Token；

將所述場景圖詞、對象圖詞以及圖像圖詞輸入所述變換器模型得到分類圖詞，將所述分類圖詞通過線性全連接分類層得到預測場景分類；

根據(jù)所述場景特征、對象特征以及預測場景分類構(gòu)建全局混合損失函數(shù)，根據(jù)所述全局混合損失函數(shù)對所述場景分類模型進行反向傳播和梯度更新，以得到完成訓練的場景分類模型；

獲取待進行場景分類的圖像輸入所述完成訓練的場景分類模型，得到場景分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的圖像場景分類方法，其特征在于，所述對所述圖像樣本進行預處理得到標準化圖像樣本包括：

對所述圖像樣本采用雙線性插值調(diào)整至預設尺寸；

對調(diào)整至預設尺寸的圖像樣本減去圖像網(wǎng)絡數(shù)據(jù)集的圖像均值，再除以標準差得到所述標準化圖像樣本。

3.根據(jù)權(quán)利要求1所述的圖像場景分類方法，其特征在于，在對所述嵌入圖像進行圖詞轉(zhuǎn)換后，還采用位置編碼的方式對初步生成的圖像圖詞進行空間信息補充，得到所述圖像圖詞。

4.根據(jù)權(quán)利要求3所述的圖像場景分類方法，其特征在于，將所述場景圖詞、對象圖詞以及圖像圖詞輸入所述變換器模型得到分類圖詞之前，還包括：

將所述場景圖詞、對象圖詞、圖像圖詞分別與歷史時刻計算得到的分類圖詞進行融合，得到融合場景圖詞、融合對象圖詞以及融合圖像圖詞；

所述將所述場景圖詞、對象圖詞以及圖像圖詞輸入所述變換器模型得到分類圖詞，包括：

將所述融合場景圖詞、融合對象圖詞以及融合圖像圖詞輸入所述變換器模型得到分類圖詞。