[發明專利]模型訓練及圖像處理方法、裝置、設備、存儲介質

在審

• 申請號: 202210067225.3
• 申請日: 2022-01-20
• 公開（公告）號: CN114419374A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 李朝聞;朱優松;楊帆;李韡;趙朝陽;陳志揚;吳立威;趙瑞;唐明;王金橋
• 申請（專利權）人: 上海商湯智能科技有限公司;中國科學院自動化研究所
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/40;G06V10/26;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李江;吳素花

1.一種模型訓練方法，其特征在于，所述方法包括：

基于第一圖像樣本，確定第一場景圖像和第二場景圖像；所述第一場景圖像與所述第二場景圖像之間具有重疊區域；

利用待訓練的第一模型，對所述第一場景圖像和所述第二場景圖像分別進行特征提取，得到所述第一場景圖像的第一場景特征和所述第二場景圖像的第二場景特征，并利用第二模型，對所述第一場景圖像和所述第二場景圖像分別進行特征提取，得到所述第一場景圖像的第三場景特征和所述第二場景圖像的第四場景特征；

基于所述第一場景特征和所述第二場景特征、以及所述第三場景特征和所述第四場景特征，確定目標損失值；

基于所述目標損失值，對所述第一模型的模型參數進行至少一次更新，得到訓練后的所述第一模型。

2.根據權利要求1所述的方法，其特征在于，所述基于所述第一場景特征和所述第二場景特征、以及所述第三場景特征和所述第四場景特征，確定目標損失值，包括：

基于所述第一場景特征和所述第二場景特征、以及所述第三場景特征和所述第四場景特征，確定目標場景損失值；

基于所述目標場景損失值，確定目標損失值。

3.根據權利要求2所述的方法，其特征在于，所述基于所述第一場景特征和所述第二場景特征、以及所述第三場景特征和所述第四場景特征，確定目標場景損失值，包括：

基于所述第一場景特征和所述第四場景特征之間的相似度，確定第一場景損失值；

基于所述第二場景特征和所述第三場景特征之間的相似度，確定第二場景損失值；

基于所述第一場景損失值和所述第二場景損失值，確定所述目標場景損失值。

4.根據權利要求2或3所述的方法，其特征在于，所述重疊區域內包括至少一個候選實例；

所述基于所述目標場景損失值，確定目標損失值，包括：

基于所述目標場景損失值和目標實例損失值，確定目標損失值；其中，所述目標實例損失值包括以下至少之一：第一實例損失值和第二實例損失值；

所述基于所述第一場景特征和所述第二場景特征、以及所述第三場景特征和所述第四場景特征，確定目標損失值，還包括：

在所述目標實例損失值包括所述第一實例損失值的情況下，基于所述第三場景特征和所述第四場景特征、以及每一所述候選實例在所述第一場景圖像中的第一實例特征，確定所述第一實例損失值；每一所述第一實例特征是利用所述第一模型提取的；

在所述目標實例損失值包括所述第二實例損失值的情況下，基于每一所述第一實例特征和每一所述候選實例在所述第二場景圖像中的第二實例特征，確定所述第二實例損失值；每一所述第二實例特征是利用所述第二模型提取的。

5.根據權利要求4所述的方法，其特征在于，所述第三場景特征和所述第四場景特征維度相同；所述基于所述第三場景特征和所述第四場景特征、以及每一所述候選實例在所述第一場景圖像中的第一實例特征，確定所述第一實例損失值，包括：

將每一所述第一實例特征進行連接，得到連接特征；

將所述連接特征映射至所述第三場景特征的維度，得到映射特征；

基于所述第三場景特征、所述第四場景特征和所述映射特征，確定第一實例損失值。

6.根據權利要求5所述的方法，其特征在于，所述基于所述第三場景特征、所述第四場景特征和所述映射特征，確定第一實例損失值，包括：

基于所述第三場景特征和所述映射特征之間的相似度，確定第一子損失值；

基于所述第四場景特征和所述映射特征之間的相似度，確定第二子損失值；

基于所述第一子損失值和所述第二子損失值，確定第一實例損失值。

7.根據權利要求4至6中任一項所述的方法，其特征在于，所述基于每一所述第一實例特征和每一所述候選實例在所述第二場景圖像中的第二實例特征，確定所述第二實例損失值，包括：

對每一所述第一實例特征和每一所述第二實例特征進行匹配，得到至少一對具有目標匹配關系的第一實例特征和第二實例特征；

基于每一對具有目標匹配關系的第一實例特征和第二實例特征，確定第二實例損失值。