[發明專利]一種基于卷積神經網絡的稠密光流估計方法

有效

• 申請號: 201711220774.5
• 申請日: 2017-11-29
• 公開（公告）號: CN107993255B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 項學智;翟明亮;呂寧;張榮芳;郭鑫立;王帥;于澤婷;張玉琦
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06T7/269
• 分類號: G06T7/269
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于卷積神經網絡的稠密光流估計方法，其特征在于：包含如下步驟：

(1)提取運動圖像信息：

構建全卷積網絡架構：包括輸入層，卷積層1，卷積層2，卷積層3，卷積層4，卷積層5，卷積層6，卷積層7，卷積層8，卷積層9；輸入層，卷積層1，卷積層2，卷積層3，卷積層4，卷積層5，卷積層6，卷積層7，卷積層8，卷積層9順次連接；卷積層1的卷積核長寬以及卷積核個數分別為7,7,64；卷積層2的卷積核長寬以及卷積核個數分別為3,3,128；卷積層3的卷積核長寬以及卷積核個數分別為3,3,256；卷積層4的卷積核長寬以及卷積核個數分別為3,3,256；卷積層5的卷積核長寬以及卷積核個數分別為3,3,512；卷積層6的卷積核長寬以及卷積核個數分別為3,3,512；卷積層7的卷積核長寬以及卷積核個數分別為3,3,512；卷積層8的卷積核長寬以及卷積核個數分別為3,3,512；卷積層9的卷積核長寬以及卷積核個數分別為3,3,1024；卷積層1，卷積層2，卷積層3，卷積層4，卷積層5，卷積層6，卷積層7，卷積層8，卷積層9的步長分別設置為2，2，2，1，1，2，1，1，2；卷積層1，卷積層2，卷積層3，卷積層4，卷積層5，卷積層6，卷積層7，卷積層8，卷積層9的激活函數都是RELU函數；然后在輸入層輸入兩幅通道數都為C的圖像，從卷積層8輸出光流_6，光流_6為預測光流；

(2)生成光流：

構建稠密光流生成模型：定義密集體1，密集體2，密集體3，密集體4，密集體5，每個密集體包含L個團塊，每個團塊包括batch normalization,卷積核大小為3*3的卷積層，dropout層3個部分；batch normalization的激活函數為RELU函數；團塊內部的連接方式：batchnormalization，卷積核大小為3*3的卷積層，dropout層順次連接；在密集體內部，團塊L-1，團塊L-2，團塊L-3，到團塊1共L-1個團塊的輸出與團塊L相連接；定義反卷積層1，反卷積層2，反卷積層3，反卷積層4，反卷積層5，反卷積層6；反卷積層1的卷積核長寬以及卷積核個數分別為3,3,512；反卷積層2的卷積核長寬以及卷積核個數分別為3,3,256；反卷積層3的卷積核長寬以及卷積核個數分別為3,3,128；反卷積層4的卷積核長寬以及卷積核個數分別為3,3,64；反卷積層5的卷積核長寬以及卷積核個數分別為3,3,32；反卷積層6的卷積核長寬以及卷積核個數分別為3,3,16；卷積層9，反卷積層1，密集體1，反卷積層2，密集體2，反卷積層3，密集體3，反卷積層4，密集體4，反卷積層5，密集體5，反卷積層6順次連接；

光流_6輸入反卷積層1，卷積層9將處理后的信息輸入反卷積層1，反卷積層2輸出光流_5，反卷積層3輸出光流_4，反卷積層4輸出光流_3，反卷積層5輸出光流_2，反卷積層6輸出光流_1；光流_2,光流_3,光流_4,光流_5,光流_6為不同分辨率下的預測光流值；光流_1為最終預測的光流值，與兩幅通道數都為C的圖像同分辨率；

(3)模型訓練：

分別用最終損失函數作用于反卷積層1，反卷積層2，反卷積層3，反卷積層4，反卷積層5，反卷積層6進行訓練；

(4)光流估計：

從全卷積網絡架構的輸入層輸入圖像對，輸出最終預測的光流。

2.根據權利要求1所述的一種基于卷積神經網絡的稠密光流估計方法，其特征在于：所述的最終損失函數：

L_final＝λ₁L_epe+λ₂L_brightness+λ₃L_smoothness；

上式中，λ₁，λ₂和λ₃為3種約束的平衡因子；L_epe為端點誤差損失函數，L_brightness為亮度恒常損失函數，L_smoothness為運動平滑損失函數。