[發(fā)明專利]一種圖像光流計算系統(tǒng)、方法及應用

在審

• 申請?zhí)枺?/td>: 202011436742.0
• 申請日: 2020-12-10
• 公開（公告）號: CN112686952A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設計）人: 尚鵬;楊德龍;侯增濤;王博;付威廉
• 申請（專利權(quán)）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06N3/08;G06N3/04
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 范盈

1.一種圖像光流計算系統(tǒng)，其特征在于：包括第一深度卷積神經(jīng)網(wǎng)絡單元、第二深度卷積神經(jīng)網(wǎng)絡單元和第三深度卷積神經(jīng)網(wǎng)絡單元；

所述第一深度卷積神經(jīng)網(wǎng)絡單元，用于計算場景景深信息，得到場景對應的深度圖像；

所述第二深度卷積神經(jīng)網(wǎng)絡單元，用于計算相機空間位姿變換矩陣，得到相機位姿；

所述第三深度卷積神經(jīng)網(wǎng)絡單元，用于計算動態(tài)目標對應的光流，將靜態(tài)場景和動態(tài)目標區(qū)分處理。

2.如權(quán)利要求1所述的圖像光流計算系統(tǒng)，其特征在于：所述第一深度卷積神經(jīng)網(wǎng)絡單元包括第一損失函數(shù)項；所述第二深度卷積神經(jīng)網(wǎng)絡單元包括第二損失函數(shù)項；所述第三深度卷積神經(jīng)網(wǎng)絡單元包括第三損失函數(shù)項。

3.如權(quán)利要求1或者2所述的圖像光流計算系統(tǒng)，其特征在于：所述第三深度卷積神經(jīng)網(wǎng)絡單元為“編碼-解碼”結(jié)構(gòu)。

4.如權(quán)利要求3所述的圖像光流計算方法，其特征在于：所述第三深度卷積神經(jīng)網(wǎng)絡單元包括卷積層、池化層和激活層。

5.一種圖像光流計算方法，其特征在于：所述方法包括如下步驟：

步驟1：構(gòu)造所述第一深度卷積神經(jīng)網(wǎng)絡單元、所述第二深度卷積神經(jīng)網(wǎng)絡單元和所述第三深度卷積神經(jīng)網(wǎng)絡單元；

步驟2：將圖像序列輸入所述第一深度卷積神經(jīng)網(wǎng)絡單元得到輸出視差圖像，將所述圖像系列輸入所述第二深度卷積神經(jīng)網(wǎng)絡單元得到相機空間位姿變換矩陣；

步驟3：根據(jù)所述視差圖像和所述相機空間位姿變換矩陣獲取靜態(tài)場景對應的光流圖像；

步驟4：以原始輸入圖像、所述視差圖像和所述相機位姿輸入所述第三深度卷積神經(jīng)網(wǎng)絡單元，得到用于動態(tài)目標定位的場景光流圖像；

步驟5：以所述靜態(tài)場景對應的光流圖像和所述動態(tài)目標定位的場景光流圖像之和作為場景對應的完整光流圖像；

步驟6：通過所述完整光流圖像結(jié)合所述原始參考圖像重建原始目標圖像及其對應的光流圖像，得到重建目標圖像和重建光流圖像，以所述重建目標圖像與所述原始目標圖像之間的差異和所述重建光流圖像和原始光流圖像之間的差異作為監(jiān)督信號，取代標簽集。

6.如權(quán)利要求5所述的圖像光流計算方法，其特征在于：所述相機空間位姿矩陣、所述視差圖像和訓練樣本作為輸入數(shù)據(jù)，所述靜態(tài)場景對應的光流圖像和所述動態(tài)目標定位的場景光流圖像作為輸出數(shù)據(jù)，將所述輸入數(shù)據(jù)和所述輸出數(shù)據(jù)用于圖像的重建，根據(jù)所述重建圖像與所述原始圖像之間的差異構(gòu)造目標函數(shù)。

7.如權(quán)利要求6所述的圖像光流計算方法，其特征在于：對所述目標函數(shù)進行訓練為采用梯度下降法對目標函數(shù)進行迭代計算，得到參數(shù)固定的第三深度卷積神經(jīng)網(wǎng)絡單元。

8.如權(quán)利要求6所述的圖像光流計算方法，其特征在于：所述目標函數(shù)包括目標圖像的重建損失函數(shù)、基于光流的圖像重建一致性損失函數(shù)和光流邊緣損失函數(shù)。

9.如權(quán)利要求5～8中任一項所述的圖像光流計算方法，其特征在于：所述圖像為雙目圖像。

10.一種圖像光流計算方法的應用，其特征在于：將權(quán)利要求5～9中任一項所述的圖像光流計算方法應用于室外無人駕駛汽車或無人自主導航機器人中。