[發(fā)明專利]圖像識別模型的遷移方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110398557.5
• 申請日: 2021-04-14
• 公開（公告）號: CN112801236B
• 公開（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 劉暢
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/774;G06K9/62;G06N3/08
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 祝亞男

1.一種圖像識別模型的遷移方法，其特征在于，所述方法包括：

獲取源域圖像樣本和目標(biāo)域圖像樣本，所述源域圖像樣本是指源領(lǐng)域?qū)?yīng)的帶真值標(biāo)注的圖像樣本，所述目標(biāo)域圖像樣本是指待遷移至的目標(biāo)領(lǐng)域?qū)?yīng)的不帶真值標(biāo)注的圖像樣本，所述源領(lǐng)域是指自動(dòng)駕駛場景下的仿真場景，所述目標(biāo)領(lǐng)域是指所述自動(dòng)駕駛場景下的真實(shí)場景；

通過圖像識別模型的特征提取網(wǎng)絡(luò)，對所述源域圖像樣本和所述目標(biāo)域圖像樣本分別進(jìn)行特征提取處理，得到所述源域圖像樣本的多尺度特征圖序列和所述目標(biāo)域圖像樣本的多尺度特征圖序列；其中，所述多尺度特征圖序列包括在特征提取過程中所獲得的多個(gè)不同尺度的特征圖；

通過所述圖像識別模型的特征融合網(wǎng)絡(luò)，分別對所述源域圖像樣本的多尺度特征圖序列中的多個(gè)不同尺度的特征圖和所述目標(biāo)域圖像樣本的多尺度特征圖序列中的多個(gè)不同尺度的特征圖進(jìn)行融合處理，得到所述源域圖像樣本的融合特征圖和所述目標(biāo)域圖像樣本的融合特征圖，以及分別對所述源域圖像樣本的融合特征圖和所述目標(biāo)域圖像樣本的融合特征圖進(jìn)行通道權(quán)重調(diào)整處理，得到所述源域圖像樣本的頭部特征圖和所述目標(biāo)域圖像樣本的頭部特征圖；其中，所述融合特征圖包括高維度特征圖的語義信息和低維度特征圖的定位細(xì)節(jié)信息，所述頭部特征圖用于指示圖像樣本中的目標(biāo)對象的類別信息和位置信息；

基于所述源域圖像樣本的頭部特征圖確定所述源域圖像的對象預(yù)測標(biāo)注，以及基于所述目標(biāo)域圖像樣本的頭部特征圖確定所述目標(biāo)域圖像樣本的對象預(yù)測標(biāo)注，所述對象預(yù)測標(biāo)注用于預(yù)測標(biāo)注所述目標(biāo)對象；

基于所述圖像識別處理過程中得到的所述源域圖像樣本的中間特征圖和所述目標(biāo)域圖像樣本的中間特征圖，確定第一特征對齊損失；其中，所述中間特征圖是指由所述圖像識別模型的特征提取網(wǎng)絡(luò)得到的特征圖，所述中間特征圖是所述多尺度特征圖序列中尺度最小的特征圖；

基于所述源域圖像樣本的頭部特征圖和所述目標(biāo)域圖像樣本的頭部特征圖，確定第二特征對齊損失；

基于所述源域圖像樣本的對象預(yù)測標(biāo)注與其真值標(biāo)注之間的差異信息，確定識別損失；

對所述第一特征對齊損失和所述第二特征對齊損失進(jìn)行加權(quán)和處理，得到特征對齊損失；

將所述識別損失和所述特征對齊損失的差作為所述模型訓(xùn)練損失；

根據(jù)所述模型訓(xùn)練損失調(diào)整所述圖像識別模型的參數(shù)，得到適用于所述目標(biāo)領(lǐng)域的遷移后圖像識別模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述頭部特征圖包括具有n通道的中心點(diǎn)預(yù)測特征圖和具有2通道的寬高屬性預(yù)測特征圖，每個(gè)中心點(diǎn)預(yù)測特征圖用于指示一個(gè)物種類別對應(yīng)的目標(biāo)對象的中心點(diǎn)預(yù)測值；所述寬高屬性預(yù)測特征圖用于指示所述目標(biāo)對象的寬預(yù)測值和高預(yù)測值，所述n是指所述圖像識別模型所要識別的目標(biāo)對象對應(yīng)的物種類別數(shù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述圖像識別處理過程中得到的所述源域圖像樣本的中間特征圖和所述目標(biāo)域圖像樣本的中間特征圖，確定第一特征對齊損失，包括：

對所述源域圖像樣本的中間特征圖和所述目標(biāo)域圖像樣本的中間特征圖進(jìn)行融合映射處理，得到融合后的中間特征圖；

基于所述融合后的中間特征圖，計(jì)算得到所述源域圖像樣本對應(yīng)的圖像特征對齊損失和所述目標(biāo)域圖像樣本對應(yīng)的圖像特征對齊損失；

基于所述源域圖像樣本對應(yīng)的圖像特征對齊損失和所述目標(biāo)域圖像樣本對應(yīng)的圖像特征對齊損失，確定所述第一特征對齊損失。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述第一特征對齊損失的計(jì)算公式如下：

其中，是指所述源域圖像樣本對應(yīng)的圖像特征對齊損失，是指所述目標(biāo)域圖像樣本對應(yīng)的圖像特征對齊損失，L_align1是指所述第一特征對齊損失，N_S是指所述源域圖像樣本的數(shù)量，N_T是指所述目標(biāo)域圖像樣本的數(shù)量，W和H分別是指所述中間特征圖的寬和高，是指在所述融合后的中間特征圖上所述源域圖像樣本對應(yīng)的一個(gè)點(diǎn)，是指在所述融合后的中間特征圖上所述目標(biāo)域圖像樣本對應(yīng)的一個(gè)點(diǎn)，F(xiàn)₁為卷積核大小為1的全卷積網(wǎng)絡(luò)。