[發明專利]目標運動的估計方法、設備及計算機存儲介質

在審

• 申請號: 202010962364.3
• 申請日: 2020-09-14
• 公開（公告）號: CN112233148A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 張凱;盧維;任宇鵬
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06T7/215;G06T7/593
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

1.一種目標運動的估計方法，其特征在于，所述估計方法包括：

獲取連續兩幀多傳感器的融合數據，其中，所述融合數據包括激光雷達的三維點云數據和雙目相機的雙目圖像；

利用深度學習技術對所述融合數據進行處理，分別得到所述連續兩幀雙目圖像的深度圖像、所述連續兩幀雙目圖像的初始分割標簽及所述連續兩幀雙目圖像的光流圖像；

構建目標函數，利用所述三維點云數據、所述連續兩幀雙目圖像的深度圖像及所述連續兩幀雙目圖像的光流圖像計算所述目標函數中的初始目標運動；

構建能量函數，利用所述連續兩幀雙目圖像的初始分割標簽及所述目標函數中的初始目標運動對所述能量函數中目標分割標簽和目標運動進行初始化，使所述能量函數迭代優化所述目標分割標簽和所述目標運動，得到預測的目標運動軌跡。

2.根據權利要求1所述的估計方法，其特征在于，所述構建目標函數，利用所述三維點云數據、所述連續兩幀雙目圖像的深度圖像及所述連續兩幀雙目圖像的光路圖像計算所述目標運動的步驟，包括：

獲取所述三維點云數據的坐標對應的圖像像素坐標及激光雷達深度圖像；

利用所述連續兩幀雙目圖像的光流圖像及所述三維點云數據的坐標對應的圖像像素坐標計算所述連續兩幀三維點云數據的圖像像素坐標的對應關系；

融合所述雙目圖像的深度圖像和所述激光雷達深度圖像，得到深度融合結果；

構建所述目標函數，利用所述連續兩幀三維點云數據的圖像像素坐標的對應關系及所述深度融合結果計算所述目標函數的最小值；

利用所述目標函數最小值的對應值，計算所述初始目標運動。

3.根據權利要求2所述的估計方法，其特征在于，所述獲取所述三維點云數據的坐標對應的圖像像素坐標及激光雷達深度圖像的步驟，包括：

基于所述雙目相機和所述激光雷達之間的外參，將所述三維點云數據在所述激光雷達坐標系下的坐標轉換為在所述雙目相機坐標系下的坐標；

基于所述雙目相機的內參，由所述三維點云數據在所述雙目相機坐標系下的坐標獲取所述三維點云數據對應的圖像像素坐標及激光雷達深度圖像。

4.根據權利要求3所述的估計方法，其特征在于，所述連續兩幀雙目圖像的光流圖像包括每個像素點在雙目圖像上的平移向量；

所述利用所述連續兩幀雙目圖像的光流圖像及所述三維點云數據的坐標對應的圖像像素坐標計算所述連續兩幀三維點云數據的圖像像素坐標的對應關系的步驟，包括：

基于所述圖像像素坐標及每個像素點在所述雙目圖像上的平移向量，計算連續兩幀雙目圖像中當前幀三維點云數據對應的像素坐標與后一幀三維點云數據對應的像素坐標間的對應關系。

5.根據權利要求2所述的估計方法，其特征在于，所述融合所述雙目圖像的深度圖像和所述激光雷達深度圖像，得到深度融合結果的步驟，包括：

對所述雙目圖像的深度圖像及所述激光雷達深度圖像進行視差校驗，判斷校驗是否通過；

若是，則將所述激光雷達深度圖像作為深度融合結果。

6.根據權利要求1所述的估計方法，其特征在于，

利用深度學習技術對所述融合數據進行處理，分別得到所述連續兩幀雙目圖像的深度圖像、所述連續兩幀雙目圖像的初始分割標簽及所述連續兩幀雙目圖像的光流圖像的步驟，包括:

將所述融合數據輸入視差網絡，分別得到所述連續兩幀雙目圖像的深度圖像；

將所述融合數據輸入語義分割網絡，分別得到所述連續兩幀雙目圖像目標的初始分割標簽；

將所述融合數據輸入光流預測網絡，得到所述連續兩幀雙目圖像的光流圖像。