[發(fā)明專利]圖像處理方法、裝置、系統(tǒng)和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910859964.4
• 申請日: 2019-09-11
• 公開（公告）號: CN110728188B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計）人: 李亮亮
• 申請（專利權(quán)）人: 北京邁格威科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/764;G06V10/82;G06N3/08
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 李晴

本發(fā)明提供了一種圖像處理方法、裝置、系統(tǒng)和存儲介質(zhì)，所述圖像處理方法包括：獲取包含目標對象的第一類型的圖像；將所述第一類型的圖像輸入神經(jīng)網(wǎng)絡(luò)模型，所述神經(jīng)網(wǎng)絡(luò)模型包括類型變換模塊和識別模塊；利用所述類型變換模塊對所述第一類型的圖像進行類型變換處理，以獲得第二類型的圖像，所述第二類型的圖像用于作為所述識別模塊的訓(xùn)練樣本。本發(fā)明的圖像處理方法、裝置、系統(tǒng)和存儲介質(zhì)能夠?qū)⒌谝活愋偷膱D像變換為第二類型的圖像，以訓(xùn)練用于對第二類型的圖像進行目標對象識別的神經(jīng)網(wǎng)絡(luò)模型，從而使神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練樣本更易于獲得。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，更具體地涉及一種圖像處理方法、裝置、系統(tǒng)和存儲介質(zhì)。

背景技術(shù)

人臉識別在視頻監(jiān)控、身份識別領(lǐng)域中已經(jīng)得到了廣泛的應(yīng)用。人臉識別模型的訓(xùn)練需要大量的人臉圖像作為訓(xùn)練樣本，由于來自IR(紅外)模組的IR人臉圖像數(shù)據(jù)量非常小，采集困難或涉及隱私，成本很高。而來自RGB模組的RGB人臉圖像數(shù)據(jù)量非常大。目前通常直接將RGB人臉圖像加入IR人臉識別模型進行訓(xùn)練，但是采用RGB人臉圖像訓(xùn)練出的IR人臉識別模型的效果很差。

發(fā)明內(nèi)容

本發(fā)明提出了一種關(guān)于圖像處理的方案，其利用神經(jīng)網(wǎng)絡(luò)模型進行類型變換，變換后的圖像可直接用于網(wǎng)絡(luò)訓(xùn)練。下面簡要描述本發(fā)明提出的關(guān)于圖像處理的方案，更多細節(jié)將在后續(xù)結(jié)合附圖在具體實施方式中加以描述。

根據(jù)本發(fā)明一方面，提供了一種圖像處理方法，所述圖像處理方法包括：獲取包含目標對象的第一類型的圖像；將所述第一類型的圖像輸入神經(jīng)網(wǎng)絡(luò)模型，所述神經(jīng)網(wǎng)絡(luò)模型包括類型變換模塊和識別模塊；利用所述類型變換模塊對所述第一類型的圖像進行類型變換處理，以獲得第二類型的圖像，所述第二類型的圖像用于作為所述識別模塊的訓(xùn)練樣本。

在一個實施例中，所述第一類型為采用可見光攝像頭拍攝的圖像類型，所述第二類型為采用紅外攝像頭拍攝的圖像類型。

在一個實施例中，所述類型變換模塊包括類型變換子網(wǎng)絡(luò)和類型分類器，所述識別模塊包括特征提取器和分類器，其中：所述類型變換子網(wǎng)絡(luò)用于對所述第一類型的圖像進行類型變換處理，并輸出第二類型的圖像；所述類型分類器用于判斷所述類型變換子網(wǎng)絡(luò)輸出的圖像的類型，并輸出類型分類結(jié)果；所述特征提取器用于提取所述第一類型的圖像的第一特征向量和所述類型變換子網(wǎng)絡(luò)輸出的所述第二類型的圖像的第二特征向量；以及所述分類器用于基于所述特征提取器提取的第二特征向量進行目標對象識別，以生成所述第二類型的圖像的預(yù)測標簽。

在一個實施例中，所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練包括：將第一類型的樣本圖像輸入到所述神經(jīng)網(wǎng)絡(luò)模型，并獲得第二類型的樣本圖像；基于所述特征提取器提取的所述第一類型的樣本圖像的第一特征向量和所述第二類型的樣本圖像的第二特征向量計算特征向量損失；基于所述分類器生成的所述第二類型的樣本圖像的預(yù)測標簽與所述第一類型的樣本圖像中預(yù)先標注的真實標簽之間的差異計算分類損失；基于預(yù)先訓(xùn)練好的類型分類器所生成的類型分類結(jié)果計算類型變換損失；以及基于所述特征向量損失、所述分類損失和所述類型變換損失優(yōu)化所述神經(jīng)網(wǎng)絡(luò)模型的參數(shù)。

在一個實施例中，計算所述特征向量損失包括：基于從同一目標對象的所述第一特征向量與所述第二特征向量之間的差異計算特征向量拉近損失；基于特征向量類內(nèi)損失與特征向量類間損失之間的差值計算特征向量推遠損失，其中，所述特征向量類內(nèi)損失表示分別從同一對象的多張第二類型的樣本圖像中提取的多個所述第二特征向量之間的差異，所述特征向量類間損失表示分別從不同對象的所述第二類型的樣本圖像中提取的所述第二特征向量之間的差異。

在一個實施例中，所述類型分類器的訓(xùn)練包括：分別將經(jīng)預(yù)處理后的第一類型的訓(xùn)練圖像和第二類型的訓(xùn)練圖像輸入到待訓(xùn)練的類型分類器，并生成類型分類結(jié)果；根據(jù)所述類型分類結(jié)果計算類型分類損失；以及基于所述類型分類損失訓(xùn)練所述類型分類器。