[發明專利]神經網絡訓練、移動信息測量、關鍵幀檢測的方法及裝置

有效

• 申請號: 201910972437.4
• 申請日: 2019-10-14
• 公開（公告）號: CN110717593B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 盛律;徐旦;歐陽萬里
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06V10/74
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 王文紅

1.一種神經網絡訓練方法，其特征在于，包括：

從可移動設備上設置的拍攝設備所采集的視頻流中，提取訓練樣本集合，所述訓練樣本集合包括多個訓練樣本，每個訓練樣本包括目標樣本圖像、與所述目標樣本圖像的拍攝時間最接近的第一關鍵幀樣本圖像、和與所述目標樣本圖像的拍攝時間相鄰的樣本圖像；

針對每個訓練樣本中的任意兩幀圖像組成的測距圖像對，經待訓練的第一神經網絡對所述測距圖像對進行圖像特征提取和分析處理后輸出所述測距圖像對所對應的測距結果信息；其中，所述測距結果信息用于表示拍攝設備從拍攝所述測距圖像對中一幀圖像到拍攝另一幀圖像的時間段內，拍攝設備可能發生的位移信息；

基于所述多個訓練樣本中的所述測距圖像對分別對應的測距結果信息，調整所述第一神經網絡中的網絡參數。

2.根據權利要求1所述的神經網絡訓練方法，其特征在于，所述基于所述多個訓練樣本中的所述測距圖像對分別對應的測距結果信息，調整所述第一神經網絡中的網絡參數，包括：

根據所述多個訓練樣本中的所述測距圖像對分別對應的測距結果信息，確定測距圖像對中兩幀圖像之間的圖像差異信息；

基于多個訓練樣本中的每個所述測距圖像對對應的圖像差異信息，調整所述待訓練的第一神經網絡中的網絡參數。

3.根據權利要求2所述的神經網絡訓練方法，其特征在于，所述經待訓練的第一神經網絡對所述測距圖像對進行圖像特征提取和分析處理后輸出所述測距圖像對所對應的測距結果信息，包括：

將所述測距圖像對輸入所述第一神經網絡；

經所述第一神經網絡對輸入的所述測距圖像對進行圖像特征提取和分析處理，以輸出所述測距圖像對所對應的測距結果信息，所述測距結果信息包括：在測距圖像對中的第一圖像的坐標系下，表征該測距圖像對的兩幀圖像之間的圖像區別特征的第一遮擋掩碼、在測距圖像對中的第二圖像的坐標系下，表征該測距圖像對中兩幀圖像之間的圖像區別特征的第二遮擋掩碼、從所述第一圖像到所述第二圖像的第一變換圖像與所述第一圖像之間的第一圖像相似性特征、從所述第二圖像到所述第一圖像的第二變換圖像與所述第二圖像之間的第二圖像相似性特征；

所述根據所述多個訓練樣本中的所述測距圖像對分別對應的測距結果信息，確定測距圖像對中兩幀圖像之間的圖像差異信息，包括：

針對每個測距圖像對，基于該測距圖像對所對應的所述第一遮擋掩碼、所述第二遮擋掩碼、所述第一圖像相似性特征和所述第二圖像相似性特征，確定該測距圖像對中兩幀圖像之間的圖像差異信息。

4.根據權利要求3所述的神經網絡訓練方法，其特征在于，所述基于所述多個訓練樣本中的所述測距圖像對分別對應的測距結果信息，調整所述第一神經網絡中的網絡參數，還包括：

根據所述多個訓練樣本中的所述測距圖像對分別對應的測距結果信息，確定測距圖像對所對應的正向運動和逆向運動的運動差異信息；所述正向運動為從拍攝測距圖像對中的第一圖像到拍攝測距圖像對中的第二圖像的時間段內，所述拍攝設備進行的運動，所述逆向運動為從拍攝測距圖像對中的第二圖像到拍攝測距圖像對中的第一圖像的時間段內，所述拍攝設備進行的運動；

基于多個訓練樣本中的每個所述測距圖像對對應的運動差異信息和圖像差異信息，調整所述待訓練的第一神經網絡中的網絡參數。

5.根據權利要求4所述的神經網絡訓練方法，其特征在于，所述測距結果信息包括所述測距圖像對的正向運動對應的第一位移信息、所述測距圖像對的逆向運動對應的第二位移信息；

所述根據所述多個訓練樣本中的所述測距圖像對分別對應的測距結果信息，確定測距圖像對中所對應的正向運動和逆向運動的運動差異信息，包括：

針對每個測距圖像對，基于該測距圖像對所對應的第一遮擋掩碼、第二遮擋掩碼、第一位移信息和第二位移信息，確定該測距圖像對所對應的正向運動和逆向運動的運動差異信息。