[發明專利]一種基于視差引導融合的虛擬參考幀生成方法

有效

• 申請號: 202010169654.2
• 申請日: 2020-03-12
• 公開（公告）號: CN111464814B
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 雷建軍;張宗千;鄭澤勛;石雅南
• 申請（專利權）人: 天津大學
• 主分類號: H04N19/593
• 分類號: H04N19/593;H04N19/136;H04N19/105;H04N19/184
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于視差引導融合的虛擬參考幀生成方法，其特征在于，所述方法包括以下步驟：

構建多級感受野擴張模塊提取多尺度深層特征；

構建視差注意力融合模塊轉換多尺度特征之間的視差關系并進行融合；

將多級感受野擴張模塊與視差注意力融合模塊整合進網絡框架，搭建出視差引導的生成網絡；

將視差引導的生成網絡嵌入3D編碼框架，生成虛擬參考幀；

其中，所述多級感受野擴張模塊具體為：

多級感受野擴張模塊是一個多分支的結構，在每一分支中，將普通的卷積核與相應擴張率的空洞卷積相結合以模擬人類的視覺系統；

使用四種不同尺度的卷積核1×1、3×3、5×5、7×7和四種對應擴張率1、3、5、7的空洞卷積，空洞卷積的卷積核大小固定為3×3，將模塊的輸入特征與各分支得到的特征進行級聯，之后再通過一個卷積層進行降維得到輸出特征；

所述將多級感受野擴張模塊與視差注意力融合模塊整合進網絡框架，搭建出視差引導的生成網絡具體為：

將時域虛擬參考幀和視點間參考幀送入網絡的特征提取部分分別提取特征，生成網絡的特征提取部分包含兩個相同的分支，以參數共享的方式提取特征；

在每一分支中，利用兩個卷積層來提取淺層特征，通過兩個多級感受野擴張模塊來提取多尺度深層特征，并通過一個跳步連接將淺層特征與深層特征融合；

利用視差注意力融合模塊來轉換特征之間的視差關系并進行特征融合；

將時域虛擬參考幀的淺層特征加到視差注意力融合模塊的輸出上，再通過兩個卷積層從融合特征重建出高質量虛擬參考幀；

所述將視差引導的生成網絡嵌入3D編碼框架，生成虛擬參考幀，具體為：

找到當前編碼幀的時域最鄰近兩幀并將其送入可分離卷積網絡生成時域虛擬參考幀，然后將該時域虛擬參考幀和視點間參考幀送入視差引導的生成網絡，生成一個最新的虛擬參考幀，將最新的虛擬參考幀插入到參考圖片列表0和參考圖片列表1的末端，作為參考。

2.根據權利要求1所述的一種基于視差引導融合的虛擬參考幀生成方法，其特征在于，所述視差注意力融合模塊具體為：

利用視差注意力機制計算兩個輸入圖像中每個像素之間的對應關系，形成一個視差注意力圖，再利用視差注意力圖對視點間參考幀的特征進行視差偏移；

利用兩個殘差單元進行特征融合，每個殘差單元由兩個卷積層、一個非線性激活層以及一個跳步連接組成。

3.根據權利要求1所述的一種基于視差引導融合的虛擬參考幀生成方法，其特征在于，所述方法使用均方誤差函數最小化重建幀與原始幀之間的差異；

使用光度損失、平滑損失和循環一致損失約束網絡中間部分模塊，獲取最終的損失函數。