[發明專利]圖像處理與圖像比對模型的訓練方法、裝置和系統

在審

• 申請號: 201910193539.6
• 申請日: 2019-03-14
• 公開（公告）號: CN110009003A
• 公開（公告）日: 2019-07-12
• 發明（設計）人: 杜佳慧
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京華進京聯知識產權代理有限公司 11606
• 代理人: 朱五云;黃易

本申請涉及一種圖像處理與圖像比對模型的訓練方法、裝置、系統、計算機設備和可讀存儲介質。所述方法包括：獲取待比對的目標圖像；將目標圖像輸入預先訓練的圖像比對模型，輸出所述目標圖像的圖像特征；所述圖像比對模型是基于包括自監督損失在內的損失函數訓練得到的，所述自監督損失包括訓練樣本中同一對象的不同模態圖像的對象分類數據之間的損失，所述對象分類數據是基于圖像特征進行分類處理所得到的；將所述目標圖像的圖像特征和底庫圖像組中底庫圖像的圖像特征進行比對，得到比對結果。采用本方法通過引入自監督損失進行訓練，不需要任何額外的標注成本，提高了跨模態比對的準確性。

技術領域

本申請涉及圖像處理技術領域，特別是涉及一種圖像處理與圖像比對模型的訓練方法、裝置、系統、計算機設備和可讀存儲介質。

背景技術

目前，基于人臉識別技術的應用場景越來越多。一般情況下，人臉識別所采用的底庫圖為RGB圖，而因為暗光環境等條件的限制抓拍圖為IR(Infrad，紅外)圖，因此存在諸如RGB圖和IR圖的人臉比對這樣的跨模態圖像比對的需求。

傳統的一種方案是通過多模態的圖像訓練樣本的交叉熵損失來訓練得到卷積神經網絡，基于訓練得到的卷積神經網絡實現跨模態圖像比對。

然而，上述跨模態圖像比對方案存在誤識率過高的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高準確性的圖像處理與圖像比對模型的訓練方法、裝置、系統、計算機設備和可讀存儲介質。

第一方面，一種圖像處理方法，所述方法包括：

獲取待比對的目標圖像；

將所述目標圖像輸入預先訓練的圖像比對模型，輸出所述目標圖像的圖像特征；所述圖像比對模型是基于包括自監督損失在內的損失函數訓練得到的，所述自監督損失包括訓練樣本中同一對象的不同模態圖像的對象分類數據之間的損失，所述對象分類數據是基于圖像特征進行分類處理所得到的；

將所述目標圖像的圖像特征和底庫圖像組中底庫圖像的圖像特征進行比對，得到比對結果；其中，所述底庫圖像組包括至少一個底庫圖像，所述底庫圖像和所述目標圖像為不同模態的兩個圖像，所述底庫圖像的圖像特征是所述圖像比對模型從所述底庫圖像中提取的。

在其中一個實施例中，用于訓練所述圖像比對模型的損失函數還包括：交叉熵損失；所述交叉熵損失包括訓練樣本中各圖像的對象標簽數據與對象分類數據之間的損失。

在其中一個實施例中，用于訓練所述圖像比對模型的損失函數還包括：三元組損失；所述三元組損失包括訓練樣本中三元圖像組中各圖像的圖像特征之間的損失，所述三元圖像組包括：參考圖像、正樣本圖像和負樣本圖像，所述參考圖像和所述正樣本圖像為同一對象的不同模態的兩個圖像，所述參考圖像和所述負樣本圖像為不同對象的同一模態的兩個圖像。

在其中一個實施例中，所述圖像比對模型的訓練方式包括：

獲取訓練樣本；所述訓練樣本包括多個對象的不同模態的圖像，所述訓練樣本中各圖像標注有對象標簽數據和模態標簽數據；

將所述訓練樣本中各圖像輸入初始的圖像比對模型中，輸出所述各圖像的圖像特征，以及基于圖像特征進行分類處理所得到的各圖像的對象分類數據；

根據所述各圖像的圖像特征和對象分類數據，計算所述訓練樣本的自監督損失、三元組損失、交叉熵損失，以及計算所述訓練樣本的損失函數的值；

根據所述訓練樣本的損失函數的值，對所述初始的圖像比對模型的參數進行調整，得到所述圖像比對模型。

在其中一個實施例中，所述根據所述各圖像的圖像特征和對象分類數據，計算所述訓練樣本的自監督損失、三元組損失、交叉熵損失，包括：