[發明專利]光流估計異構混合網絡及其嵌入方法

有效

• 申請號: 201910904000.7
• 申請日: 2019-09-24
• 公開（公告）號: CN110599428B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 百曉;于歲寒金;王晨;劉詳龍;于洋;安冬;郝群
• 申請（專利權）人: 北京航空航天大學青島研究院;北京航空航天大學;歌爾股份有限公司;上海歌爾泰克機器人有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T9/00;G06T7/246;G06N3/0464;G06N3/0455
• 代理公司: 青島中天匯智知識產權代理有限公司 37241
• 代理人: 劉曉

本發明所述光流估計異構混合網絡及其嵌入方法，基于深度學習的光流估計算法，將coarse?to?fine網絡和編解碼網絡結合到混合光流網絡，以實現兩個異構網絡的相互增強，既通過coarse?to?fine網絡保持較小的規模、同時借助編解碼網絡克服coarse?to?fine網絡存在的難捕獲快速移動小目標和易導致“鬼影現象”的問題。混合網絡，是將編解碼網絡嵌入到coarse?to?fine網絡中而形成的；所述的編解碼網絡，其特征匹配部分進行通道壓縮而與coarse?to?fine網絡的特征匹配部分輸出的匹配特征進行拼接；coarse?to?fine網絡的光流估計部分的輸出反饋給編解碼網絡。

技術領域

本發明涉及一種應用于計算機視覺領域光流估計的異構混合網絡及其嵌入方法，屬于虛擬現實技術領域。

背景技術

在視覺場景中，由于觀察者與場景的相對運動，場景中的物體、表面和邊緣也會產生運動，光流(Optical?Flow)就是對這類視運動的一種表示形式。光流同時可被定義為圖片中亮度模式的移動的視速度的分布。

目前，光流估計仍是計算機視覺領域具有挑戰性的重要課題，其在視頻的目標分割、動作識別與自動駕駛方面都有著廣泛地應用。早期的光流估計算法是基于亮度不變假設(Brightness?Constancy?Assumption)和空間平滑假設(Spatial?SmoothnessAssumption)的能量最小化方法。

在有效解決大位移目標的估計問題上，Coarse-to-Fine網絡是通常采取的網絡結構之一，coarse-to-fine網絡是基于上采樣后的較低分辨率、比較粗糙的光流估計結果而獲得的，以提高分辨率與光流估計結果的精細化。

當前卷積神經網絡(Convolutional?Neural?Network，CNN)廣泛地應用于光流估計算法中。例如，FlowNet是第一個可以端到端(End-to-End)訓練的光流網絡，其網絡結構采用經典的編解碼(Encoder-Decoder)網絡結構。

除Coarse-to-Fine網絡之外，編解碼網絡也是基于深度學習的光流估計網絡主要結構。編解碼網絡具有很強的靈活性，但對于這類網絡，其估計精度的提升通常需要以增加網絡規模為代價。

與之相對的是，coarse-to-fine網絡可以以一個較小的網絡規模，獲得非常高的估計精度。但是對于coarse-to-fine結構的網絡，其估計結果卻受到傳統的coarse-to-fine?warping策略兩個問題的影響：第一個問題，該類網絡很難捕獲快速移動的小目標。這源自于傳統coarse-to-fine方法的空間金字塔結構。在該空間金字塔中，每個分辨率級別下的光流估計，都依賴于已經獲得的更低分辨率的光流估計結果。所謂快速移動小目標是指，相對運動距離大于自身尺度的物體。Coarse-to-Fine結構的各級分辨率下估計結果的依賴性，對這種快速移動小目標的捕獲造成了負面影響。這是因為，如果該目標在低分辨率級別的估計結果中消失，則在后續的更高分辨率級別的估計中，由于其移動距離超出了算法的匹配搜索范圍，因此這一運動將仍然無法被捕獲到。第二個問題，warp過程會導致“鬼影現象(Ghosting?Effects)”，即在遮擋區域引入噪聲，并導致錯配，這是由遮擋所產生的。遮擋問題存在于幾乎所有的光流估計方法中，但其負面影響卻因為coarse-to-fine方法中的warp算法而被放大。遮擋區域是指，只出現在第一張圖片中，而在第二張圖片中被遮擋物遮擋住的區域。而根據光流將第二張圖片warp到第一張圖片時，遮擋物在warp圖片的遮擋區域中仍然可見。這種現象被稱為“鬼影現象”。更加嚴重的是，即使根據ground?truth進行warp，也不能消除該現象。利用受“鬼影現象”影響的圖片與原圖進行匹配時，在遮擋區域會造成錯配，因此頻繁使用warp的coarse-to-fine網絡，對遮擋問題十分敏感。

綜上所述，Coarse-to-Fine網絡與編解碼網絡各自具有優、缺點，且相互間優、缺點又是相對存在的。

有鑒于此，特提出本專利申請。