[發明專利]目標對象融合方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210417932.0
• 申請日: 2022-04-20
• 公開（公告）號: CN114821717A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 顏劍鋒
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06T5/50
• 代理公司: 北京市通商律師事務所 11951
• 代理人: 姜瑩麗

1.一種目標對象融合方法，其特征在于，所述方法包括：

獲取第一圖像中的目標對象的第一關鍵點、所述第一關鍵點的置信度、和第二圖像中的目標對象的第二關鍵點；

根據所述第一關鍵點中的第三關鍵點，將所述第一圖像與第三圖像對齊，得到對齊后的第四圖像，所述第三關鍵點的置信度滿足第一預設條件；

根據所述第二關鍵點，將所述第二圖像與所述第三圖像對齊，得到對齊后的第五圖像；

通過預設的融合模型將所述第四圖像中的目標對象替換為所述第五圖像中的目標對象，得到融合圖像。

2.根據權利要求1所述的方法，其特征在于，所述第一預設條件包括：置信度大于第一置信度閾值。

3.根據權利要求2所述的方法，其特征在于，所述第一置信度閾值為按照從高到低的順序，排序在第K位的置信度的值；所述K為大于3的整數。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述方法還包括：

獲取所述第二關鍵點的置信度；

所述根據所述第二關鍵點，將所述第二圖像與所述第三圖像對齊，得到對齊后的第五圖像，包括：

根據所述第二關鍵點中的第四關鍵點，將所述第二圖像與所述第三圖像對齊，得到所述第五圖像，所述第四關鍵點的置信度滿足第二預設條件。

5.一種目標對象融合方法，其特征在于，所述方法包括：

獲取第一圖像中的目標對象的第一關鍵點、第二圖像中的目標對象的第二關鍵點、和所述第二關鍵點的置信度；

根據所述第一關鍵點，將所述第一圖像與第三圖像對齊，得到對齊后的第四圖像；

根據所述第二關鍵點中的第四關鍵點，將所述第二圖像與所述第三圖像對齊，得到對齊后的第五圖像，所述第四關鍵點的置信度滿足第二預設條件；

通過預設的融合模型將所述第四圖像中的目標對象替換為所述第五圖像中的目標對象，得到融合圖像。

6.根據權利要求4或5所述的方法，其特征在于，所述第二預設條件，包括：置信度大于第二置信度閾值。

7.根據權利要求6所述的方法，其特征在于，所述第二置信度閾值為按照從高到低的順序，排序在第H位的置信度的值；所述H為大于3的整數。

8.根據權利要求1-7任一項所述的方法，其特征在于，所述第一圖像為視頻中的第T幀圖像；所述方法還包括：

當所述第T幀圖像中的第一關鍵點檢測失敗時，根據所述視頻中的第(T-c)幀圖像和第(T+c)幀圖像中確定的第一關鍵點，確定所述第T幀圖像中的第一關鍵點；c為大于0的整數。

9.根據權利要求1-8任一項所述的方法，其特征在于，所述融合模型是采用與所述第三圖像對齊后的樣本第一圖像和與所述第三圖像對齊后的樣本第二圖像對融合網絡進行訓練得到的；所述方法還包括：

分別將樣本第一圖像和樣本第二圖像與所述第三圖像進行對齊，得到對齊后的樣本第一圖像和對齊后的樣本第二圖像；

將所述對齊后的樣本第二圖像輸入目標對象識別器，得到所述目標對象識別器輸出的第一特征向量，所述第一特征向量是所述對齊后的樣本第二圖像中的第二目標對象對應的特征向量；

將所述對齊后的樣本第一圖像和所述第一特征向量輸入融合網絡，得到所述融合網絡輸出的融合后的樣本第一圖像；

將所述融合后的樣本第一圖像輸入所述目標對象識別器，得到所述目標對象識別器輸出的第二特征向量，所述第二特征向量是所述融合后的樣本第一圖像中的第二目標對象對應的特征向量；

根據所述第一特征向量和所述第二特征向量之間的損失，對所述融合網絡的參數進行更新。

10.根據權利要求9所述的方法，其特征在于，所述將所述對齊后的樣本第一圖像輸入融合網絡之前，所述方法還包括：

對所述對齊后的樣本第一圖像進行仿射變換。