[發明專利]一種基于光流法和多視角場景的視頻修復方法

在審

• 申請號: 202111498912.2
• 申請日: 2021-12-09
• 公開（公告）號: CN114119424A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 李恒宇;謝永浩;劉靖逸;岳濤;王曰英;謝少榮;羅均
• 申請（專利權）人: 上海大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 鄭州翊博專利代理事務所(普通合伙) 41155
• 代理人: 周玉青

本發明屬于計算機視覺領域，公開了一種基于光流法和多視角場景的視頻修復方法，解決了視頻中單幀圖像不準確和單幀圖像中存在噪聲的問題。本發明利用多視角場景提供的先驗信息，基于條件生成對抗網絡進行輔助初步修復；然后將視頻修復視為一個像素傳播問題，結合視頻序列中前后圖像幀間信息基于光流法來完成視頻序列的修復。本發明可以被應用于智能駕駛車輛視覺系統中，使其可以更好地了解周圍環境，輔助智能車輛進行路徑選擇的決策。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于光流法和多視角場景的視頻修復方法。

背景技術

隨著圖像處理和計算機視覺技術的發展，視覺信息在自動化領域發揮了關鍵作用。由于多視角圖像采集系統有視場大、采集的圖像信息豐富的特點，多視角圖像采集系統已廣泛應用于導航、全景圖、遮擋處理和車輛分類、目標檢測和跟蹤中去。然而視頻圖像信息在采集、處理、壓縮、傳輸和解壓縮的過程中受到干擾后，會造成視頻圖像信息的異常或丟失，進而影響到系統對周圍環境的感知和決策。視頻修復的目標是利用空間和時間上都一致的內容來填充給定的視頻序列中的缺失區域。這項技術已被廣泛于受損圖像恢復、視頻修復以及圖像編輯等許多領域。

現有的大多數視頻修復算法分為兩類：第一類依舊遵循傳統的圖像修復流程，將修復問題描述為一個基于斑塊的優化問題，通過對已知區域的空間進行采樣來修復缺失區域；第二類方法主要是基于數據驅動的方式來完成修復任務。本發明能夠結合視頻序列在時序上的一致性以及多相機系統空間上的圖像信息，完成對視頻的修復。

發明內容

針對現有技術中存在的問題和不足，本發明的目的在于提供一種基于光流法和多視角場景的視頻修復方法。

基于上述目的，本發明采用的技術方案如下：

本發明第一方面提供了一種基于光流法和多視角場景的視頻修復方法，包括以下步驟：

(1)采集場景的多視角視頻，根據采集的視頻制作訓練集和測試集，具體操作如下：

(1a)采集原始圖像：利用多相機設備獲取視頻幀數據，收集同時間采集的同一場景中m個視角的視頻，得到了m個視角視頻；從m個視角視頻中隨機抽取2個不同視角下的視頻，然后按照視頻的獲取視角，將2個抽取的視頻劃分為左視角視頻和右視角視頻，提取左視角視頻的圖像幀組成左視角圖像集，提取右視角視頻的圖像幀組成右視角圖像集，并分別將左視角圖像集和右視角圖像集中的圖像按采集時間先后順序依次從1到n進行編號，所述左視角圖像集和右視角圖像集中的圖像均為完好圖像，且左視角圖像與右視角圖像有重合；

(1b)制作缺損圖像：選擇左視角圖像集或右視角圖像集制作缺損圖像，從編號1至編號n，針對每個編號，從選中的左視角圖像集或右視角圖像集中選擇對應編號的無損圖像，然后在選中的無損圖像上增加隨機位置和隨機大小的純色遮擋塊，得到缺損圖像，每一張無損圖像對應一張缺損圖像；同時用遮擋塊大小的掩碼與選中的無損圖像的二值圖像相乘，得到缺損圖像的二進制掩膜圖像，每一張缺損圖像對應一張二進制掩膜圖像；

(1c)劃分訓練集和測試集：將每張缺損圖像、每張缺損圖像對應的二進制掩膜圖像、每張缺損圖像對應的無損圖像以及與缺損圖像編號相同的另一視角的完好圖像組成1組樣本，共有n組樣本，將n組樣本按比例劃分為訓練集和測試集；

(2)采用空間變換網絡對訓練集中的完好圖像訓練進行空間變換處理，得到完好圖像的變換圖像；所述空間變換網絡用于將變換圖像和與訓練集中所述完好圖像編號相同的缺損圖像在缺損區域對齊，消除視角偏移；

(3)將步驟(2)得到的完好圖像的變換圖像和與所述完好圖像編號相同的缺損圖像組成圖像對，采用所述圖像對訓練條件生成對抗網絡，優化條件生成對抗網絡的參數，得到訓練后的條件生成對抗網絡；