[發(fā)明專利]圖像處理與圖像比對模型的訓(xùn)練方法、裝置和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910193539.6
• 申請日: 2019-03-14
• 公開（公告）號: CN110009003A
• 公開（公告）日: 2019-07-12
• 發(fā)明（設(shè)計）人: 杜佳慧
• 申請（專利權(quán)）人: 北京曠視科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京華進(jìn)京聯(lián)知識產(chǎn)權(quán)代理有限公司 11606
• 代理人: 朱五云;黃易

1.一種圖像處理方法，其特征在于，所述方法包括：

獲取待比對的目標(biāo)圖像；

將所述目標(biāo)圖像輸入預(yù)先訓(xùn)練的圖像比對模型，輸出所述目標(biāo)圖像的圖像特征；所述圖像比對模型是基于包括自監(jiān)督損失在內(nèi)的損失函數(shù)訓(xùn)練得到的，所述自監(jiān)督損失包括訓(xùn)練樣本中同一對象的不同模態(tài)圖像的對象分類數(shù)據(jù)之間的損失，所述對象分類數(shù)據(jù)是基于圖像特征進(jìn)行分類處理所得到的；

將所述目標(biāo)圖像的圖像特征和底庫圖像組中底庫圖像的圖像特征進(jìn)行比對，得到比對結(jié)果；其中，所述底庫圖像組包括至少一個底庫圖像，所述底庫圖像和所述目標(biāo)圖像為不同模態(tài)的兩個圖像，所述底庫圖像的圖像特征是所述圖像比對模型從所述底庫圖像中提取的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，用于訓(xùn)練所述圖像比對模型的損失函數(shù)還包括：交叉熵?fù)p失；所述交叉熵?fù)p失包括訓(xùn)練樣本中各圖像的對象標(biāo)簽數(shù)據(jù)與對象分類數(shù)據(jù)之間的損失。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，用于訓(xùn)練所述圖像比對模型的損失函數(shù)還包括：三元組損失；所述三元組損失包括訓(xùn)練樣本中三元圖像組中各圖像的圖像特征之間的損失，所述三元圖像組包括：參考圖像、正樣本圖像和負(fù)樣本圖像，所述參考圖像和所述正樣本圖像為同一對象的不同模態(tài)的兩個圖像，所述參考圖像和所述負(fù)樣本圖像為不同對象的同一模態(tài)的兩個圖像。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述圖像比對模型的訓(xùn)練方式包括：

獲取訓(xùn)練樣本；所述訓(xùn)練樣本包括多個對象的不同模態(tài)的圖像，所述訓(xùn)練樣本中各圖像標(biāo)注有對象標(biāo)簽數(shù)據(jù)和模態(tài)標(biāo)簽數(shù)據(jù)；

將所述訓(xùn)練樣本中各圖像輸入初始的圖像比對模型中，輸出所述各圖像的圖像特征，以及基于圖像特征進(jìn)行分類處理所得到的各圖像的對象分類數(shù)據(jù)；

根據(jù)所述各圖像的圖像特征和對象分類數(shù)據(jù)，計算所述訓(xùn)練樣本的自監(jiān)督損失、三元組損失、交叉熵?fù)p失，以及計算所述訓(xùn)練樣本的損失函數(shù)的值；

根據(jù)所述訓(xùn)練樣本的損失函數(shù)的值，對所述初始的圖像比對模型的參數(shù)進(jìn)行調(diào)整，得到所述圖像比對模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述各圖像的圖像特征和對象分類數(shù)據(jù)，計算所述訓(xùn)練樣本的自監(jiān)督損失、三元組損失、交叉熵?fù)p失，包括：

根據(jù)所述各圖像的對象標(biāo)簽數(shù)據(jù)和模態(tài)標(biāo)簽數(shù)據(jù)，對所述各圖像進(jìn)行分組；

根據(jù)分組的各圖像的圖像特征和對象分類數(shù)據(jù)，計算所述訓(xùn)練樣本的自監(jiān)督損失、三元組損失、交叉熵?fù)p失。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述訓(xùn)練樣本包括多個圖像集合，每個圖像集合包括：至少四個圖像，所述四個圖像分屬兩個不同對象，分屬于同一對象的兩個圖像為不同模態(tài)的兩個圖像。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述各圖像的圖像特征和對象分類數(shù)據(jù)，計算所述訓(xùn)練樣本的自監(jiān)督損失、三元組損失、交叉熵?fù)p失，以及計算所述訓(xùn)練樣本的損失函數(shù)的值，包括：

針對所述多個圖像集合，根據(jù)所述圖像集合中四個圖像的圖像特征和對象分類數(shù)據(jù)，計算所述圖像集合中兩個不同對象各自的自監(jiān)督損失、兩個不同對象各自的三元組損失、以及四個圖像各自的交叉熵?fù)p失；

根據(jù)所述各圖像集合中兩個不同對象各自的自監(jiān)督損失、兩個不同對象各自的三元組損失、以及四個圖像各自的交叉熵?fù)p失，計算所述訓(xùn)練樣本的損失函數(shù)的值。

8.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述圖像比對模型包括：特征提取子模型和對象分類子模型；

所述將所述訓(xùn)練樣本中各圖像輸入初始的圖像比對模型中，輸出所述各圖像的圖像特征，以及基于圖像特征進(jìn)行分類處理所得到的各圖像的對象分類數(shù)據(jù)，包括：

將所述訓(xùn)練樣本中各圖像輸入所述特征提取子模型中，輸出所述各圖像的圖像特征；

將所述各圖像的圖像特征輸入所述對象分類子模型中，輸出所述各圖像的對象分類數(shù)據(jù)。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述特征提取子模型和對象分類子模型均為神經(jīng)網(wǎng)絡(luò)模型。