[發明專利]圖像分類方法及裝置、電子設備、存儲介質

在審

• 申請號: 202011614525.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112749737A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 任亮;傅雨梅;黃新濤
• 申請（專利權）人: 北京知因智慧科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐菲

本申請提供一種圖像分類方法及裝置、電子設備、存儲介質，該方法包括：將待測試圖像輸入已訓練的特征提取模型，獲得特征提取模型輸出的視覺特征向量；將視覺特征向量與不同分類器的權重向量進行點積計算，獲得待測試圖像與不同分類器對應類別的相似度；其中，多個分類器的權重向量是通過訓練的圖卷積網絡模型計算得到的，圖卷積網絡模型是基于關系增強型知識圖譜以及圖注意力機制生成的；根據待測試圖像與不同分類器對應類別的相似度，確定待測試圖像所屬的類別。本申請提供的技術方案，可以實現圖像的分類。

技術領域

本申請涉及計算機技術領域，具體而言，涉及一種圖像分類方法及裝置、電子設備、計算機可讀存儲介質。

背景技術

近年來隨著深度學習技術發展，基于有監督學習的方法出現了巨大的性能提升，尤其在圖像識別方向，其準確率已經超過了人類的識別能力。為了獲取分類精度，需要為數據集中每個目標類別提供大量有標簽的訓練樣本。由于有監督方法學習得到的分類器無法很好地遷移到其他類別地圖像集中，因此，每遇到一種新的場景便需要重新制作需要消耗大量人工的有標簽數據集，這種對有標簽數據集的需求極大阻礙了有監督學習的發展。

目前主要使用GCNZ和GPM模型技術，兩種模型均利用詞嵌入向量，通過基于類間關系構建知識圖譜實現從已見類別到未見類別的知識遷移。

但是目前技術仍存在知識圖譜構建方式過于單一，無論是GCNZ還是GPM，均只利用了WordNet關系網絡中類別間的上下位關系(通過父子拓撲關系建立起來的關系并未表示出最相似的兩個類別的連接關系，而是通過父節點連接間接建立起來的聯系)，且在進行相似性計算時，通過兩節點間路徑長度設置權重，而未考慮到兄弟節點之間的關系，且節點之間相似性并不一定和距離呈負相關的關系。

零樣本學習用于解決缺少標簽數據的學習任務，但零樣本圖像分類方法仍存在無法有效利用外界豐富的先驗知識的問題。

發明內容

本申請實施例的目的在于提供一種圖像分類方法及裝置、電子設備、存儲介質，用以實現語義知識在類別間的遷移，來解決零樣本學習出現的問題。

本申請實施例第一方面提供了一種圖像處理方法，所述方法包括：

將待測試圖像輸入已訓練的特征提取模型，獲得所述特征提取模型輸出的視覺特征向量；

將所述視覺特征向量與不同分類器的權重向量進行點積計算，獲得所述待測試圖像與不同分類器對應類別的相似度；其中，所述多個分類器的權重向量是通過訓練的圖卷積網絡模型計算得到的，所述圖卷積網絡模型是基于關系增強型知識圖譜以及圖注意力機制生成的；

根據所述待測試圖像與不同分類器對應類別的相似度，確定所述待測試圖像所屬的類別。

在一實施例中，在所述將所述視覺特征向量與不同分類器的權重向量進行點積計算之前，所述方法還包括：

獲取待測試圖像集合；

提取所述待測圖像集合中每個待測試圖像的視覺特征向量；

將所述待測試圖像的視覺特征向量輸入已訓練的圖卷積網絡模型，獲得多種類別的分類器。

在一實施例中，在所述將所述待測試圖像的視覺特征向量輸入已訓練的圖卷積網絡模型之前，所述方法還包括：

獲取第一深度神經網絡和第二深度神經網絡；

疊加所述第一深度神經網絡和第二深度神經網絡，得到所述圖卷積網絡；

訓練所述圖卷積網絡，得到所述圖卷積網絡模型。

在一實施例中，所述第一深度神經網絡采用以下方式獲得：

獲取關系增強型知識圖譜；

根據所述關系增強型知識圖譜構建所述第一圖卷積網絡。