[發(fā)明專利]圖像差異檢測(cè)及模型訓(xùn)練的方法、設(shè)備及程序產(chǎn)品

有效

• 申請(qǐng)?zhí)枺?/td>: 202110512934.3
• 申請(qǐng)日: 2021-05-11
• 公開(kāi)（公告）號(hào): CN113239928B
• 公開(kāi)（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 任彥偉;尹飛;顧友達(dá);熊冰;邢潘紅
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V10/25
• 分類號(hào): G06V10/25;G06V10/75;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 鈄颯颯;黃健

1.一種圖像差異檢測(cè)模型訓(xùn)練方法，包括：

獲取訓(xùn)練樣本集，所述訓(xùn)練樣本集中的每個(gè)訓(xùn)練樣本包括樣本圖像、所述樣本圖像對(duì)應(yīng)的基準(zhǔn)圖像、和標(biāo)注信息，所述標(biāo)注信息用于表示所述樣本圖像與所述基準(zhǔn)圖像是否存在差異；

將所述樣本圖像和所述基準(zhǔn)圖像輸入圖像差異檢測(cè)模型，所述圖像差異檢測(cè)模型包括特征提取子模型和差異定位子模型；

將所述樣本圖像和所述基準(zhǔn)圖像輸入所述特征提取子模型，通過(guò)所述特征提取子模型，提取所述樣本圖像的圖像特征，得到第一特征矩陣，并提取所述基準(zhǔn)圖像的圖像特征，得到第二特征矩陣；

通過(guò)所述差異定位子模型，根據(jù)所述第一特征矩陣和所述第二特征矩陣，確定差異可視化矩陣，所述差異可視化矩陣包含所述樣本圖像和所述基準(zhǔn)圖像的差異位置信息；

根據(jù)所述差異可視化矩陣，確定所述樣本圖像和所述基準(zhǔn)圖像存在差異的預(yù)測(cè)概率；

根據(jù)所述預(yù)測(cè)概率，確定所述樣本圖像和所述基準(zhǔn)圖像是否存在差異的預(yù)測(cè)結(jié)果；

根據(jù)所述預(yù)測(cè)結(jié)果和所述標(biāo)注信息，確定第一損失；

將所述第一特征矩陣轉(zhuǎn)換為第一特征向量，并將所述第二特征矩陣轉(zhuǎn)換為第二特征向量；

根據(jù)所述第一特征向量與所述第二特征向量之間的距離，以及所述標(biāo)注信息，確定第二損失；

根據(jù)所述第一損失和所述第二損失，確定綜合損失值；

根據(jù)所述綜合損失值，更新所述圖像差異檢測(cè)模型的模型參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，將任一特征矩陣轉(zhuǎn)換為特征向量，包括：

將所述任一特征矩陣進(jìn)行展平處理，得到第一向量；

通過(guò)至少一個(gè)全連接層，對(duì)所述第一向量進(jìn)行至少一次特征變換處理，得到對(duì)應(yīng)的特征向量。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述將所述任一特征矩陣進(jìn)行展平處理，得到第一向量之前，還包括：

對(duì)所述任一特征矩陣進(jìn)行平均池化處理。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，所述將所述樣本圖像和所述基準(zhǔn)圖像輸入所述特征提取子模型，通過(guò)所述特征提取子模型，提取所述樣本圖像的圖像特征，得到所述第一特征矩陣，并提取所述基準(zhǔn)圖像的圖像特征，得到所述第二特征矩陣，包括：

所述特征提取子模型包括第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)，所述第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)具有相同的結(jié)構(gòu)，并且所述第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)的權(quán)重不共享；

將所述樣本圖像和所述基準(zhǔn)圖像分別輸入所述第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)，利用所述第一網(wǎng)絡(luò)，提取所述樣本圖像的圖像特征，得到所述第一特征矩陣；利用所述特征提取子模型的第二網(wǎng)絡(luò)，提取所述基準(zhǔn)圖像的圖像特征，得到所述第二特征矩陣。

5.根據(jù)權(quán)利要求4所述的方法，其中，利用所述特征提取子模型的任一網(wǎng)絡(luò)，提取輸入圖像的圖像特征，得到輸入圖像的特征矩陣，包括：

利用所述特征提取子模型的任一網(wǎng)絡(luò)，提取輸入圖像的初始圖像特征；

對(duì)所述初始圖像特征進(jìn)行特征細(xì)化處理，得到細(xì)化后的第二圖像特征；

將所述初始圖像特征和所述第二圖像特征進(jìn)行融合處理后，得到所述輸入圖像的特征矩陣；

其中，所述任一網(wǎng)絡(luò)為所述第一網(wǎng)絡(luò)或所述第二網(wǎng)絡(luò)，若所述任一網(wǎng)絡(luò)為所述第一網(wǎng)絡(luò)，則所述輸入圖像為所述樣本圖像，所述輸入圖像的特征矩陣為所述第一特征矩陣，若所述任一網(wǎng)絡(luò)為第二網(wǎng)絡(luò)，則所述輸入圖像為所述基準(zhǔn)圖像，所述輸入圖像的特征矩陣為所述第二特征矩陣。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述將所述初始圖像特征和所述第二圖像特征進(jìn)行融合處理后，得到所述輸入圖像的特征矩陣，包括：

將所述初始圖像特征經(jīng)過(guò)縮放處理，得到縮放處理后的圖像特征；

將縮放處理后的圖像特征和所述第二圖像特征進(jìn)行融合處理，得到所述輸入圖像的特征矩陣。

7.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，所述根據(jù)所述第一特征矩陣和所述第二特征矩陣，確定所述差異可視化矩陣，包括：

將所述第一特征矩陣和所述第二特征矩陣連接，得到融合特征矩陣；

對(duì)所述融合特征矩陣進(jìn)行差異特征提取處理，得到所述樣本圖像和所述基準(zhǔn)圖像的差異可視化矩陣。