[發明專利]基于改進虛擬視點合成的多視點視頻超分辨率重建算法

有效

• 申請號: 201711002368.1
• 申請日: 2017-10-24
• 公開（公告）號: CN107809630B
• 公開（公告）日: 2019-08-13
• 發明（設計）人: 周圓;張業達;楊鴻宇;馮麗洋;楊晶
• 申請（專利權）人: 天津大學
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/111;H04N13/128;G06T3/40
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

本發明公開了一種基于改進虛擬視點合成的多視點視頻超分辨率重建算法，步驟(1)、基于DIBR的虛擬視點合成，在參考視點的深度圖的輔助下，建立虛擬視點圖像和參考視點圖像之間的映射關系；步驟(2)、基于雙向DIBR的投影一致性檢查，步驟(3)、高頻信息提取與超分辨率重建，得到最終的超分辨率重建結果。與現有技術相比，本發明可以有效的去除小裂痕，消除背景與前景之間的像素滲透現象；對空洞部分，通過提取插值圖像的對應像素點進行填充，取得了較好的視點合成效果，在此基礎上通過高頻提取與插值視圖相融合取得了良好的超分辨率重建結果。

技術領域

本發明涉及圖像視頻處理領域，特別是涉及一種應用于混合分辨率多視點視頻的超 分辨率重建算法。

背景技術

近年來，以3D立體視頻(Stereo Video)和自由視點視頻(Free viewpoint Video，FTV)為代表的多視點視頻(Multi-view Video)成為數字多媒體技術研究的熱門方向。 在多視點視頻系統中，需要同時傳輸多個視點的視頻序列，存儲和帶寬負擔很大?；旌?分辨率(Mixed Resolution，MR)多視點視頻架構是解決這一問題的有效方法。采用混 合分辨率視頻架構，至少一個視點采用低分辨率視頻進行傳輸，其余視點以高分辨率方 式進行傳輸，能夠有效地降低傳輸數據量，達到了節省帶寬的目的，并且可以顯著的減 少處理時間。低分辨率視頻清晰度較低，會影響觀看者視覺體驗，導致視覺上的不舒適 感。為了保證觀看者的視覺體驗，需要在接受端對低分辨率視點進行超分辨率重建。

深度圖像繪制(Depth Image Based Rendering，DIBR)技術，是一種計算簡單且效果優秀的虛擬視點合成技術。通過DIBR技術可得到該低分辨率視點的高分辨虛擬視點， 進而虛擬視點的高頻信息，并與低分辨率插值視圖進行相加，完成超分辨率重建。但是， 由于DIBR技術映射得到的視圖像素滲透、投影重疊和空洞等一些問題，合成虛擬視圖 的部分高頻信息并不準確，而且可能與原圖存在亮度差異，故需要對重建結果進一步改 進。

在附加深度圖的混合分辨率多視點視頻格式(MR-MVD)中，提供了每個視點的 原深度圖，參考視點的原圖和合成虛擬視點的低分辨率彩圖。對于附加深度圖的混合分 辨率多視點視頻格式(Mixed Resolution Multi-view Video plus Depths，MR-MVD)，可 利用高分辨率視點的深度信息和相機參數，通過虛擬視點合成技術得到相鄰的低分辨率 視點的高分辨初始估計，這為多視點視頻的超分辨率重建提供了新的思路。

發明內容

針對傳統DIBR技術合成虛擬視圖存在的像素滲透、投影重疊和空洞等問題，導致合成虛擬視圖部分高頻信息失真，本發明提出一種基于改進虛擬視點合成的多視點視頻超分辨率重建算法，采用虛擬視點向參考視點逆向投影與參考視點向虛擬視點前向投影相結合的方式，來解決DIBR合成虛擬視點過程中出現的像素滲透和投影重疊問題，再 對虛擬視點低分辨率彩圖進行插值，用得到的插值圖像完成對合成虛擬視圖空洞的填 補，由此完成了超分辨率重建的過程

通過雙向DIBR技術改善合成虛擬視圖質量，提升多視點視頻的超分辨率重建效果。

本發明的基于改進虛擬視點合成的多視點視頻超分辨率重建算法，該方法包括以下 步驟：

步驟1、基于DIBR的虛擬視點合成，在參考視點的深度圖的輔助下，建立虛擬視 點圖像和參考視點圖像之間的映射關系；該步驟的具體處理如下：

已知視點個數N的高分辨率圖像V_N及其對應的深度圖D_N，利用V_N內某一像素點 (u,v)的深度值d以及拍攝該視點攝像機的攝像機內部參數矩陣A_N、旋轉矩陣以及轉移 矩陣T_N，映射為世界坐標系的(x,y,z)點，表達式如下：