[發明專利]一種基于光流法和多視角場景的視頻修復方法

在審

• 申請號: 202111498912.2
• 申請日: 2021-12-09
• 公開（公告）號: CN114119424A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 李恒宇;謝永浩;劉靖逸;岳濤;王曰英;謝少榮;羅均
• 申請（專利權）人: 上海大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 鄭州翊博專利代理事務所(普通合伙) 41155
• 代理人: 周玉青

1.一種基于光流法和多視角場景的視頻修復方法，其特征在于，包括以下步驟：

(1)采集場景的多視角視頻，根據采集的視頻制作訓練集和測試集，具體操作如下：

(1a)采集原始圖像：利用多相機設備獲取視頻幀數據，收集同時間采集的同一場景中m個視角的視頻，得到了m個視角視頻；從m個視角視頻中隨機抽取2個不同視角下的視頻，然后按照視頻的獲取視角，將2個抽取的視頻劃分為左視角視頻和右視角視頻，提取左視角視頻的圖像幀組成左視角圖像集，提取右視角視頻的圖像幀組成右視角圖像集，并分別將左視角圖像集和右視角圖像集中的圖像按采集時間先后順序依次從1到n進行編號，所述左視角圖像集和右視角圖像集中的圖像均為完好圖像，且左視角圖像與右視角圖像有重合；

(1b)制作缺損圖像：選擇左視角圖像集或右視角圖像集制作缺損圖像，從編號1至編號n，針對每個編號，從選中的左視角圖像集或右視角圖像集中選擇對應編號的無損圖像，然后在選中的無損圖像上增加隨機位置和隨機大小的純色遮擋塊，得到缺損圖像，每一張無損圖像對應一張缺損圖像；同時用遮擋塊大小的掩碼與選中的無損圖像的二值圖像相乘，得到缺損圖像的二進制掩膜圖像，每一張缺損圖像對應一張二進制掩膜圖像；

(1c)劃分訓練集和測試集：將每張缺損圖像、每張缺損圖像對應的二進制掩膜圖像、每張缺損圖像對應的無損圖像以及與缺損圖像編號相同的另一視角的完好圖像組成1組樣本，共有n組樣本，將n組樣本按比例劃分為訓練集和測試集；

(2)采用空間變換網絡對訓練集中的完好圖像進行空間變換處理，得到完好圖像的變換圖像；所述空間變換網絡用于將變換圖像和與訓練集中所述完好圖像編號相同的缺損圖像在缺損區域對齊，消除視角偏移；

(3)將步驟(2)得到的完好圖像的變換圖像和與所述完好圖像編號相同的缺損圖像組成圖像對，采用所述圖像對訓練條件生成對抗網絡，優化條件生成對抗網絡的參數，得到訓練后的條件生成對抗網絡；

(4)將所述訓練集中編號連續的一系列無損圖像輸入光流預測網絡進行光流估計運算，得到訓練集中無損圖像的一系列光流圖，將訓練集中無損圖像的一系列光流圖和步驟(1c)得到的訓練集中對應的二進制掩膜圖像輸入光流細化網絡進行訓練，優化光流細化網絡的參數，得到訓練后的光流細化網絡；

(5)將測試集中完好圖像輸入空間變換網絡，得到測試集中完好圖像的變換圖像；將所述測試集中完好圖像的變換圖像和與測試集中所述完好圖像編號相同的缺損圖像一起輸入條件生成對抗網絡，得到測試集中缺損圖像的初步修復結果圖像；

(6)按照步驟(5)依次將測試集中其余缺損圖像進行初步修復，得到測試集中所有缺損圖像的初步修復結果圖像；取測試集中編號連續的缺損圖像的初步修復結果圖像輸入光流預測網絡進行光流估計運算，得到所述初步修復結果圖像的一系列光流圖；將所述初步修復結果圖像的一系列光流圖和步驟(1c)得到的測試集中對應的二進制掩膜圖像一起輸入訓練后的光流細化網絡，得到一系列最終預測結果光流圖；

(7)遍歷每個最終預測結果光流圖，獲得最終預測結果光流圖中每個點的坐標，將輸入光流圖中對應坐標點的像素對應到光流圖的相應位置，得到測試集中缺損圖像的最終修復圖像，進而得到測試集中缺損圖像對應的最終修復視頻。

2.根據權利要求1所述的基于光流法和多視角場景的視頻修復方法，其特征在于，所述空間變換網絡包含本地網絡、網絡生成器和采樣器；所述本地網絡利用4個卷積層提取圖片特征，并將所述圖片特征通過2個全連接回歸層得到θ仿射變換參數；

所述網絡生成器用于根據所述θ仿射變換參數構建采樣網絡，即得到一種映射關系，具體為：

其中{x⁸，y⁸}表示輸入圖像的像素點坐標，{x^t，y^t}表示目標圖像的像素點坐標，θ為本地網絡得到的θ仿射變換參數；

所述采樣器用于根據采樣網絡所得的映射關系對輸入空間變換網絡中的圖片進行像素級采樣復制得到目標圖像；若采樣網絡和輸入圖像的像素點坐標不能一一對應，采用雙線性插值公式進行目標圖像的像素填充，所述雙線性插值公式為：

其中，Pixel(x，y)表示坐標點的像素值。