[發明專利]一種圖像光流計算系統、方法及應用

在審

• 申請號: 202011436742.0
• 申請日: 2020-12-10
• 公開（公告）號: CN112686952A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 尚鵬;楊德龍;侯增濤;王博;付威廉
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06N3/08;G06N3/04
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 范盈

本申請屬于人工智能技術領域，特別是涉及一種圖像光流計算系統、方法及應用。已有的基于深度學習的光流估計假設場景是靜態的，無法處理動態目標的問題。本申請提供了一種圖像光流計算系統，包括第一深度卷積神經網絡單元、第二深度卷積神經網絡單元和第三深度卷積神經網絡單元；所述第一深度卷積神經網絡單元，用于計算場景景深信息，得到場景對應的深度圖像；所述第二深度卷積神經網絡單元，用于計算相機空間位姿變換矩陣，得到相機位姿；所述第三深度卷積神經網絡單元，用于計算動態目標對應的光流，將靜態場景和動態目標區分處理。提高了光流估計方法的計算精度。

技術領域

本申請屬于人工智能技術領域，特別是涉及一種圖像光流計算系統、方法及應用。

背景技術

無人駕駛汽車面對的場景由靜態場景和動態目標組成，通過景深信息和相機位姿可以計算靜態場景信息，但是無法表征圖像中動態目標相對于相機的運動情況。光流通過提取像素級匹配表征動態物體的運動情況，描述了三維場景在二維成像平面上對應像素的瞬時運動速度，在動態目標檢測、輔助駕駛等領域具有重要的應用價值。

經典光流估計模型及其改進算法(Horn B,Schunck B.G.Determining opticalflow)經過了多年的發展，但依然面臨諸多問題：(1)真實場景下，“光照不變性”和“光流平滑性”等條件無法滿足，算法的改進可以減輕不利影響，但無法消除；(2)自然場景中，目標物體快速運動產生的大位移問題依然無法解決；(3)針對遮擋導致的陰影等尚無較好的解決方案。基于深度學習的光流估計算法通過CNN建立輸入圖像到光流圖像的端到端模型，是一種數據驅動模型。該方法對應用場景沒有進行前提假設，不受“亮度不變性”和“光流平滑性”等條件的制約。深度學習模型分為有監督學習算法和無監督學習算法。有監督學習模型的訓練需要成本較高的類標簽作為監督信號，應用范圍受到限制。而無監督學習算法利用數據本身的幾何關系設計監督信號，成為基于深度學習的光流計算方法的主流研究方向。

雖然FlowNet1.0(Dosovitskiy A,Fischery P,Ilg E,et al.FlowNet:Learningoptical flow with convolutional networks)、FlowNet2.0(Ilg E,Mayer N,Saikia T,et al.FlowNet 2.0:Evolution of optical flow estimation with deep networks)與LiteFlowNet(Hui T,Tang X,Loy C.LiteFlowNet: A Lightweight ConvolutionalNeural Network for Optical Flow Estimation)等模型已經將CNN 成功應用于圖像的光流估計，但以上算法均假設相機的運動場景僅存在剛性運動，即假設圖像是靜態的。然而，無人駕駛場景多由靜態場景和動態目標組成，統一計算不可避免的會產生計算誤差。

發明內容

1.要解決的技術問題

目前基于變分法的光流估計方法必須滿足“亮度守恒”和“光流平滑”等條件，使用范圍受限。已有的基于深度學習的光流估計假設場景是靜態的，無法處理動態目標的問題，本申請提供了一種圖像光流計算系統、方法及應用。

2.技術方案

為了達到上述的目的，本申請提供了一種圖像光流計算系統，包括第一深度卷積神經網絡單元、第二深度卷積神經網絡單元和第三深度卷積神經網絡單元；

所述第一深度卷積神經網絡單元，用于計算場景景深信息，得到場景對應的深度圖像；

所述第二深度卷積神經網絡單元，用于計算相機空間位姿變換矩陣，得到相機位姿；

所述第三深度卷積神經網絡單元，用于計算動態目標對應的光流，將靜態場景和動態目標區分處理。