[發明專利]場景流的確定方法及裝置、存儲介質、電子裝置

在審

• 申請號: 202011174348.4
• 申請日: 2020-10-28
• 公開（公告）號: CN112233149A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 崔嬋婕;任宇鵬;盧維;王曉魯;黃積晟
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06T7/215;G06T7/579;G06T7/593
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

1.一種場景流的確定方法，其特征在于，包括：

確定獲取的雙目圖像中的像素點的處理參數，其中，所述處理參數包括所述雙目圖像的實例分割結果、光流結果以及視差結果；

基于所述處理參數確定所述雙目圖像的場景流能量函數；

優化所述場景流能量函數，得到目標場景流能量函數；

基于所述目標場景流能量函數確定所述雙目圖像中的像素點的場景流。

2.根據權利要求1所述的方法，其特征在于，確定獲取的雙目圖像中的像素點的處理參數，包括：

利用雙目攝像設備獲取所述雙目圖像，其中，所述雙目圖像包括第N幀左圖和第N幀右圖，其中，所述N是大于或等于1的自然數；

通過預設實例分割網絡對所述雙目圖像進行實例分割，得到所述實例分割結果；

通過預設光流估計網絡確定所述雙目圖像中的像素點在預設坐標系中的位移，得到所述光流結果；

通過預設立體匹配網絡確定所述雙目圖像中的像素點在所述預設坐標系中的坐標偏移量，得到所述視差結果；

將所述分割結果、所述光流結果以及所述視差結果確定為所述處理參數。

3.根據權利要求1所述的方法，其特征在于，基于所述處理參數確定所述雙目圖像的場景流能量函數，包括：

利用所述實例分割結果、光流結果、視差結果以及旋轉平移矩陣確定所述雙目圖像的光度誤差約束項、剛性擬合約束項以及光流一致性約束項，其中，所述旋轉平移矩陣是基于所述雙目圖像中的目標對象在相鄰幀圖像中的旋轉平移量確定的；

利用所述光度誤差約束項、剛性擬合約束項以及光流一致性約束項確定所述雙目圖像的場景流能量函數。

4.根據權利要求3所述的方法，其特征在于，利用所述光度誤差約束項、剛性擬合約束項以及光流一致性約束項確定所述雙目圖像的場景流能量函數，包括：

E_i＝E_photo,i+E_rigid,i+E_flow,i；

其中，所述E_i用于表示所述場景流能量函數，所述E_photo,i用于表示所述光度誤差約束項、E_rigid,i用于表示所述剛性擬合約束項以及E_flow,i用于表示所述光流一致性約束項，所述i是大于或等于0的整數。

5.根據權利要求3所述的方法，其特征在于，利用所述實例分割結果、光流結果、視差結果以及旋轉平移矩陣確定所述雙目圖像的光度誤差約束項、剛性擬合約束項以及光流一致性約束項，包括：

其中，所述E_photo,i用于表示所述光度誤差約束項、E_rigid,i用于表示所述剛性擬合約束項以及E_flow,i用于表示所述光流一致性約束項，所述i是大于或等于0的整數，所述α_p用于表示所述雙目圖像中的當前像素是否為指示函數，所述p用于表示所述雙目圖像中的當前實例P_i中的像素點，所述P_i用于表示所述雙目圖像中的左圖L⁰的實例集合中第i個實例，所述p’用于表示所述實例在第N幀p的三維點云經過攝像設備內外參數重投影到第N+1幀后的像素點，RT用于表示所述旋轉平移矩陣。

6.根據權利要求5所述的方法，其特征在于，通過以下方式確定所述p’：

其中，所述π_K用于表示將三維點云使用攝像設備的內參數投影到所述攝像設備的成像平面，得到二維圖像；所述用于表示利用二維坐標和視差圖通過所述攝像設備的立體標定參數重建的三維點云；所述q用于表示所述雙目圖像中的像素點p加上所述p對應的光流值后的像素點。

7.根據權利要求1所述的方法，其特征在于，優化所述場景流能量函數，得到目標場景流能量函數，包括：

利用長短期記憶LSTM網絡優化所述場景流能量函數，得到所述得到目標場景流能量函數，其中，所述LSTM網絡包括隱藏層LSTM和線性層。