[發明專利]場景流的確定方法及裝置、存儲介質、電子裝置

在審

• 申請號: 202011174348.4
• 申請日: 2020-10-28
• 公開（公告）號: CN112233149A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 崔嬋婕;任宇鵬;盧維;王曉魯;黃積晟
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06T7/215;G06T7/579;G06T7/593
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

本發明實施例提供了一種場景流的確定方法及裝置、存儲介質、電子裝置，該方法包括：確定獲取的雙目圖像中的像素點的處理參數，其中，處理參數包括雙目圖像的實例分割結果、光流結果以及視差結果；基于處理參數確定雙目圖像的場景流能量函數；優化場景流能量函數，得到目標場景流能量函數；基于目標場景流能量函數確定雙目圖像中的像素點的場景流。通過本發明，解決了相關技術中求解能量函數的速度和精度不足的問題，達到提升求解復雜能量函數的求解速度和精度的效果。

技術領域

本發明實施例涉及圖像領域，具體而言，涉及一種場景流的確定方法及裝置、存儲介質、電子裝置。

背景技術

場景流估計旨在通過兩張連續的雙目圖像估計三維運動矢量，即圖像中每個點在前后兩幀的變化情況。場景流的準確估計對于機器人技術的發展極其重要，在其中用于實現動態環境中的自主導航與操縱。場景流的估計不僅可以讓機器準確定位，還能提升對周圍物體移動的感知和預判能力，從而在規劃路徑的過程中避免碰撞。目前，計算場景流的方法主要有兩種，分別是基于雙目立體視覺和基于紅綠藍深度圖RGBD計算場景流。深度傳感器的使用可以直接利用傳感器獲取較為精確的深度信息，可以提高準確性并節省時間。但是，基于RGBD方法在遮擋處容易造成誤差甚至錯誤。基于雙目立體匹配的方法，主要是通過雙目相機拍攝的左右圖推測視差進而深度信息，以及前后兩幀圖像的光流信息，通過深度信息和光流信息解算場景流結果。這種方法由于估計是視差圖而額外消耗了很多時間，而且通過光流和視差信息求解場景流的過程耗時嚴重，很難達到實時預測。除此之外，深度學習在各個領域的表現逐步超越傳統算法，但是深度學習嚴重依賴于人工標注數據的準確性，而場景流結果表示了每個像素的運動狀態，無法標注，從而在使用深度學習方法求解受限。

針對現有技術中求解能量函數速度和精度的不足的問題，相關技術中尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種場景流的確定方法及裝置、存儲介質、電子裝置，以至少解決相關技術中求解能量函數的速度和精度不足的問題。

根據本發明的一個實施例，提供了一種場景流的確定方法，包括：確定獲取的雙目圖像中的像素點的處理參數，其中，上述處理參數包括上述雙目圖像的實例分割結果、光流結果以及視差結果；基于上述處理參數確定上述雙目圖像的場景流能量函數；優化上述場景流能量函數，得到目標場景流能量函數；基于上述目標場景流能量函數確定上述雙目圖像中的像素點的場景流。

根據本發明的另一個實施例，提供了一種場景流的確定裝置，包括：第一確定模塊，用于確定獲取的雙目圖像中的像素點的處理參數，其中，上述處理參數包括上述雙目圖像的實例分割結果、光流結果以及視差結果；第二確定模塊，用于基于上述處理參數確定上述雙目圖像的場景流能量函數；第三確定模塊，用于優化上述場景流能量函數，得到目標場景流能量函數；第四確定模塊，用于基于上述目標場景流能量函數確定上述雙目圖像中的像素點的場景流。

在一個示例性實施例中，上述第一確定模塊，包括：第一獲取單元，用于利用雙目攝像設備獲取上述雙目圖像，其中，上述雙目圖像包括第N幀左圖和第N幀右圖，其中，上述N是大于或等于1的自然數；第一確定單元，用于通過預設實例分割網絡對上述雙目圖像進行實例分割，得到上述實例分割結果；第二確定單元，用于通過預設光流估計網絡確定上述雙目圖像中的像素點在預設坐標系中的位移，得到上述光流結果；第三確定單元，用于通過預設立體匹配網絡確定上述雙目圖像中的像素點在上述預設坐標系中的坐標偏移量，得到上述視差結果；第四確定單元，用于將上述分割結果、上述光流結果以及上述視差結果確定為上述處理參數。

在一個示例性實施例中，上述第二確定模塊，包括：第五確定單元，用于利用上述實例分割結果、光流結果、視差結果以及旋轉平移矩陣確定上述雙目圖像的光度誤差約束項、剛性擬合約束項以及光流一致性約束項，其中，上述旋轉平移矩陣是基于上述雙目圖像中的目標對象在相鄰幀圖像中的旋轉平移量確定的；第六確定單元，用于利用上述光度誤差約束項、剛性擬合約束項以及光流一致性約束項確定上述雙目圖像的場景流能量函數。