[發明專利]圖像分類方法及裝置、電子設備、存儲介質

在審

• 申請號: 202011614525.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112749737A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 任亮;傅雨梅;黃新濤
• 申請（專利權）人: 北京知因智慧科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐菲

1.一種圖像分類方法，其特征在于，包括：

將待測試圖像輸入已訓練的特征提取模型，獲得所述特征提取模型輸出的視覺特征向量；

將所述視覺特征向量與不同分類器的權重向量進行點積計算，獲得所述待測試圖像與不同分類器對應類別的相似度；其中，所述多個分類器的權重向量是通過訓練的圖卷積網絡模型計算得到的，所述圖卷積網絡模型是基于關系增強型知識圖譜以及圖注意力機制生成的；

根據所述待測試圖像與不同分類器對應類別的相似度，確定所述待測試圖像所屬的類別。

2.根據權利要求1所述的方法，其特征在于，在所述將所述視覺特征向量與不同分類器的權重向量進行點積計算之前，所述方法還包括：

獲取待測試圖像集合；

提取所述待測試圖像集合中每個待測試圖像的視覺特征向量；

將所述待測試圖像的視覺特征向量輸入已訓練的圖卷積網絡模型，獲得多種類別的分類器。

3.根據權利要求2所述的方法，其特征在于，在所述將所述待測試圖像的視覺特征向量輸入已訓練的圖卷積網絡模型之前，所述方法還包括：

獲取第一深度神經網絡和第二深度神經網絡；

疊加所述第一深度神經網絡和第二深度神經網絡，得到所述圖卷積網絡；

訓練所述圖卷積網絡，得到所述圖卷積網絡模型。

4.根據權利要求3所述的方法，其特征在于，所述第一深度神經網絡采用以下方式獲得：

獲取關系增強型知識圖譜；

根據所述關系增強型知識圖譜構建所述第一圖卷積網絡。

5.根據權利要求3所述的方法，其特征在于，所述第二深度神經網絡采用以下方式獲得：

通過特征提取網絡計算樣本訓練集中每類樣本的視覺屬性特征；

根據所述每類樣本的視覺屬性特征，計算帶注意力權重的鄰接矩陣；

根據所述帶注意力權重的鄰接矩陣，構建所述第二圖卷積網絡。

6.根據權利要求5所述的方法，其特征在于，所述訓練所述圖卷積網絡，得到所述圖卷積網絡模型，包括：

將所述每類樣本的視覺屬性特征輸入所述圖卷積網絡，得到多個類別的預測分類器；

計算所述多個類別的預測分類器的權重向量與已知的真實分類器的權重向量之間的均方差誤差損失值，通過反向調整所述圖卷積網絡的網絡參數，使所述均方差誤差損失值滿足預設條件。

7.根據權利要求1所述的方法，其特征在于，在所述將待測試圖像輸入已訓練的特征提取模型之前，所述方法還包括：

根據樣本訓練集對預訓練的ResNet網絡進行參數調整，獲得所述特征提取模型。

8.一種圖像分類裝置，其特征在于，包括：

特征提取模塊，用于將待測試圖像輸入已訓練的特征提取模型，獲得所述特征提取模型輸出的視覺特征向量；

相似度計算模塊，用于將所述視覺特征向量與不同分類器的權重向量進行點積計算，獲得所述待測試圖像與不同分類器對應類別的相似度；其中，所述多個分類器的權重向量是通過訓練的圖卷積網絡模型計算得到的，所述圖卷積網絡模型是基于關系增強型知識圖譜以及圖注意力機制生成的；

類別確定模塊，用于根據所述待測試圖像與不同分類器對應類別的相似度，確定所述待測試圖像所屬的類別。

9.一種電子設備，其特征在于，所述電子設備包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為執行權利要求1-7任意一項所述的圖像分類方法。

10.一種計算機可讀存儲介質，其特征在于，所述存儲介質存儲有計算機程序，所述計算機程序可由處理器執行以完成權利要求1-7任意一項所述的圖像分類方法。