[發明專利]一種基于GAN網絡深度學習模型的光流估計方法

在審

• 申請號: 201711386897.6
• 申請日: 2017-12-20
• 公開（公告）號: CN108122249A
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 張智福;余思洋;陳捷;郭玉其
• 申請（專利權）人: 長沙全度影像科技有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種基于GAN網絡深度學習模型的光流估計方法，屬于圖像處理領域。包括以下步驟：構建光流估計的深度學習數據集，構建GAN網絡深度學習模型，該模型包括卷積模塊，殘差模塊和反卷積模塊，利用數據集對深度學習模型進行訓練，得到訓練完成的深度學習模型，直接將待估計光流的圖像輸入訓練完成的深度學習模型，快速估計出光流圖像。本發明的方法利用深度學習模型來自動學習光流圖像的圖像特征，進行端到端光流估計，無需估計運動邊界進行輔助，而且所采用的GAN網絡深度學習模型能夠充分挖掘輸入圖像中的多維特征，可提升光流估計的效率和準確率。

技術領域

本發明涉及圖像處理技術，具體指一種基于GAN網絡深度學習模型的光流估計方法。

背景技術

光流估計是計算機視覺領域的基本問題之一，是目前運動圖像分析的重要方法，光流不僅包含了被觀察物體的運動信息，而且還包含有關景物三維結構的豐富信息，在計算機視覺研究領域，光流在目標對象分割、識別、跟蹤、機器人導航以及形狀信息恢復等都有著非常重要的應用。

現有光流估計方法的主要缺點在于，估計光流時一般需要首先估計運動邊界進行輔助，而估計運動邊界時多采用人工設計特征，魯棒性差，運動邊界估計精度低，從而影響光流估計精度，而且現有光流估計方法需要大量迭代運算，耗費大量計算資源和時間。因此，提出更加有效的光流估計方法，是圖像處理領域急需解決的問題。

發明內容

本發明為克服上述情況不足，旨在提供一種基于GAN(Generative AdversarialNets)網絡深度學習模型的端到端光流估計方法，利用深度網絡從大量訓練樣本中自動學習提取光流圖像，以解決現有技術中需要估計運動邊界進行輔助，而且需要人工提取運動邊界圖像特征，準確率低，魯棒性差，耗時長的問題。

為解決上述技術問題，本發明提出的技術方案是：

一種基于GAN網絡深度學習模型的端到端光流估計方法，其特征在于，包括以下步驟：

步驟1：構建光流估計的深度學習數據集；

所述光流估計深度學習數據集中的樣本數量不少于20000，其中每個樣本包含運動視頻中兩幀相鄰圖像和這兩幀圖像所對應的光流圖像。

步驟2：構建GAN網絡深度學習模型，該模型包括卷積模塊，殘差模塊和反卷積模塊；

所述卷積模塊包括4個卷積層，殘差模塊包括5個子網絡，其中每個子網絡包括1個卷積層，1個歸一化層和1個ReLU激活層，反卷積模塊包括4個反卷積層，反卷積模塊中每個反卷積層在作反卷積時調用對應卷積層的圖像特征，上一層的輸出結果作為下一層的輸入。

步驟3：利用數據集對深度學習模型進行訓練，得到訓練完成的深度學習模型；

所述步驟三中訓練深度學習模型使用Caffe框架。

步驟4：直接將待估計光流的圖像輸入訓練完成的深度學習模型，快速估計出光流圖像。

本發明有益效果：與現有技術中的光流估計方法相比，本發明的方法利用深度學習模型來自動學習光流圖像的圖像特征，進行端到端光流估計，無需估計運動邊界進行輔助，而且所采用的GAN網絡深度學習模型能夠充分挖掘輸入圖像中的多維特征，可提升光流估計的效率和準確率。

附圖說明

圖1是本發明方法的流程圖；

圖2是光流估計的深度學習數據集示意圖；

其中，(a)表示運動視頻中兩幀相鄰圖像的均值融合圖像，(b)表示光流圖像。

圖3是GAN網絡深度學習模型示意圖；

圖4是GAN網絡深度學習模型的殘差模塊中每個子網絡結構示意圖；