[發明專利]特征提取模型的生成方法、圖像特征提取方法和裝置

在審

• 申請號: 202210096198.2
• 申請日: 2022-01-26
• 公開（公告）號: CN114494709A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 李嘉文;郭遠帆
• 申請（專利權）人: 北京字跳網絡技術有限公司
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/762;G06K9/62
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 曹寒梅

本公開涉及一種特征提取模型的生成方法、圖像特征提取方法和裝置，所述方法包括：獲取多個候選圖像；基于特征提取模型和所述多個候選圖像，確定所述多個候選圖像對應的聚類樹，其中，所述聚類樹中包含多個層級下的聚類；基于所述多個候選圖像和所述聚類樹，生成目標樣本對，其中，所述目標樣本對包括圖像樣本對和特征樣本對，所述圖像樣本對為基于兩個不同的候選圖像形成的，所述特征樣本對為基于所述候選圖像的特征和所述聚類的聚類中心的特征形成的；基于所述目標樣本對，對特征提取模型進行訓練。由此可以在基于對比學習進行分類時，學習到不同粒度下的局部語義，提高該特征提取模型的準確性和穩定性。

技術領域

本公開涉及圖像處理領域，具體地，涉及一種特征提取模型的生成方法、圖像特征提取方法和裝置。

背景技術

自然圖像數據集中存在層級語義結構，以動物圖像分類為例，例如拉布拉多犬、貴賓犬對應的圖像可以歸類為“犬”的類別，而“犬”、“貓”、“猴子”等類別可以進一步歸類為“哺乳動物”的類別。

然而，相關技術中，基于對比學習的自監督學習無法對上述層級語義結構進行建模，從而在基于對比學習進行分類時，僅能夠同一粒度的不同的樣本圖像學習局部語義，使得不同圖像的特征在特征空間互相遠離，對存在不同差異的每一樣本圖像的處理是相同的，難以適用于上述存在更高等級的場景。

發明內容

提供該發明內容部分以便以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。該發明內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

第一方面，本公開提供一種特征提取模型的生成方法，所述方法包括：

獲取多個候選圖像；

基于特征提取模型和所述多個候選圖像，確定所述多個候選圖像對應的聚類樹，其中，所述聚類樹中包含多個層級下的聚類；

基于所述多個候選圖像和所述聚類樹，生成目標樣本對，其中，所述目標樣本對包括圖像樣本對和特征樣本對，所述圖像樣本對為基于兩個不同的候選圖像形成的，所述特征樣本對為基于所述候選圖像的特征和所述聚類的聚類中心的特征形成的；

基于所述目標樣本對，對特征提取模型進行訓練。

第二方面，本公開提供一種圖像特征提取方法，所述方法包括：

接收待處理圖像；

將所述待處理圖像輸入特征提取模型，獲得所述特征提取模型輸出的特征圖像，其中，所述特征提取模型為基于第一方面所述的特征提取模型的生成方法生成的。

第三方面，本公開提供一種特征提取模型的生成裝置，所述裝置包括：

獲取模塊，用于獲取多個候選圖像；

確定模塊，用于基于特征提取模型和所述多個候選圖像，確定所述多個候選圖像對應的聚類樹，其中，所述聚類樹中包含多個層級下的聚類；

生成模塊，用于基于所述多個候選圖像和所述聚類樹，生成目標樣本對，其中，所述目標樣本對包括圖像樣本對和特征樣本對，所述圖像樣本對為基于兩個不同的候選圖像形成的，所述特征樣本對為基于所述候選圖像的特征和所述聚類的聚類中心的特征形成的；

訓練模塊，用于基于所述目標樣本對，對特征提取模型進行訓練。

第四方面，提供一種圖像特征提取裝置，所述裝置包括：

接收模塊，用于接收待處理圖像；

提取模塊，用于將所述待處理圖像輸入特征提取模型，獲得所述特征提取模型輸出的特征圖像，其中，所述特征提取模型為基于第一方面所述的特征提取模型的生成方法生成的。