[發明專利]用于場景認知的神經網絡的訓練方法、裝置及終端設備

有效

• 申請號: 201910573347.8
• 申請日: 2019-06-28
• 公開（公告）號: CN110378250B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 宋呈群;程俊;王鵬
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 黃志云

1.一種用于場景識別的神經網絡的訓練方法，其特征在于，所述方法包括：

根據源視圖，分別通過所述神經網絡的相機姿態預測子網絡和深度圖預測子網絡，合成與目標視圖接近的第一圖像和第二圖像，所述源視圖為序列圖像中的任意一幀圖像，所述目標視圖為與所述源視圖相鄰的下一幀圖像；

基于所述第一圖像和所述目標視圖，構建所述相機姿態預測子網絡的第一損失函數；

基于所述第二圖像和所述目標視圖，構建所述深度圖預測子網絡的第二損失函數；

基于所述第一損失函數和所述第二損失函數，對所述神經網絡進行訓練以使得所述神經網絡能夠識別各種場景；

所述根據源視圖，分別通過所述神經網絡的相機姿態預測子網絡和深度圖預測子網絡，合成與目標視圖接近的第一圖像和第二圖像的步驟，包括：

根據所述源視圖和第一合成函數，通過所述相機姿態預測子網絡合成與所述目標視圖接近的第一圖像；

根據所述源視圖和第二合成函數，通過所述深度圖預測子網絡合成與所述目標視圖接近的第二圖像；

其中，所述第一合成函數為：

其中，以序列圖像為[I₁,I₂,…,I_N]，N為大于1的任意正整數，I_N表示第N個時間點采集的圖像；I_t-1為源視圖，表示第t-1幀圖像，I_t為目標視圖，表示第t幀圖像，t為大于1小于等于N的任意正整數；表示第一圖像；P為投影函數，表示為P～K·(R,T)D_t-1K^-1，其中K表示相機內參，D_t-1表示t-1幀圖像的深度值，R和T分別表示所述相機姿態預測子網絡的姿態矩陣中的旋轉矩陣和平移矩陣；R_t-1→t和T_t-1→t分別表示相機從第t-1幀圖像到第t幀圖像的旋轉矩陣和平移矩陣；

所述第二合成函數為：

其中，表示第二圖像，(U_t(x,y),V_t(x,y))表示第t-1幀圖像和第t幀圖像之間的光流，(x,y)表示像素坐標，像素(x,y)處相鄰兩幀圖像I_t-1和I_t的光流U，V表示為：(U_t(x,y),V_t(x,y))＝(x_t-x_t-1，y_t-y_t-1)。

2.如權利要求1所述的方法，其特征在于，所述基于所述第一圖像和所述目標視圖，構建所述相機姿態預測子網絡的第一損失函數的步驟，包括：

基于所述第一圖像和所述目標視圖，按照第一預設公式構建所述相機姿態預測子網絡的第一損失函數；

其中，所述第一預設公式為：

其中，以序列圖像為[I₁,I₂,…,I_N]，N為大于1的任意正整數，I_N表示第N個時間點采集的圖像；I_t-1為源視圖，表示第t-1幀圖像，I_t為目標視圖，表示第t幀圖像，t為大于1小于等于N的任意正整數；L_T為第一損失函數，表示通過第t-1幀圖像推導出的第t幀圖像與攝像機獲取的第t幀圖像之間的2范數，為第一圖像，表示通過第t-1幀圖像推導出的第t幀圖像。