[發明專利]基于改進虛擬視點合成的多視點視頻超分辨率重建算法

有效

• 申請號: 201711002368.1
• 申請日: 2017-10-24
• 公開（公告）號: CN107809630B
• 公開（公告）日: 2019-08-13
• 發明（設計）人: 周圓;張業達;楊鴻宇;馮麗洋;楊晶
• 申請（專利權）人: 天津大學
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/111;H04N13/128;G06T3/40
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

1.一種基于改進虛擬視點合成的多視點視頻超分辨率重建算法，其特征在于，該算法包括以下步驟：

步驟(1)、基于DIBR的虛擬視點合成，在參考視點的深度圖的輔助下，建立虛擬視點圖像和參考視點圖像之間的映射關系；該步驟的具體處理如下：

已知視點個數N的高分辨率圖像V_N及其對應的深度圖D_N，利用V_N內某一像素點(u,v)的深度值d以及拍攝該視點攝像機的攝像機內部參數矩陣A_N、旋轉矩陣R_N以及轉移矩陣T_N，映射為世界坐標系的(x,y,z)點，表達式如下：

其中，參數矩陣表示攝像機成像的內部參數矩陣，f_x和f_y分別表示水平和豎直方向以像素為單位的焦距，(c_x,c_y)表示基準點；為攝像機的旋轉矩陣，為攝像機平移矩陣；矩陣[R_N T_N]為攝像機外部參數矩陣；

像素點(u,v)的深度值d通過以下公式計算得出：

其中，Z_min和Z_max表示深度圖中最小和最大景深；

將世界坐標點(x,y,z)重新映射到視點N+1的攝像機像素平面上某點(u',v')，表達式如下：

其中，d′表示像素點(u',v')的深度值，(u',v')即為視點N中像素點(u,v)經過DIBR映射后得到的像素點位置；

步驟(2)、基于雙向DIBR的投影一致性檢查，該步驟的具體處理如下：

找到虛擬視點的原深度圖D_r中某像素點，將虛擬視點的原深度圖D_r中某像素點p(u,v)投影到參考視點深度圖的映射位置p'(u',v')；找到距離p'(u',v')最近的四個像素坐標為整數的點；將得到的參考視圖中點p'(u',v')的四個鄰近點p′₁、p′₂、p′₃、p′₄映射到虛擬視圖，得到四個映射虛擬視圖像素點；

找到與p(u,v)歐式距離最近的映射虛擬視圖像素點記為若與p(u,v)的歐式距離小于投影一致性檢查閾值K＝1，則該像素點在參考視點中的像素坐標原投影點即為p(u,v)的最終映射位置,否則認為p(u,v)在參考視圖中沒有正確的對應像素點，p(u,v)對應的像素點用插值虛擬視點彩圖進行填充；

步驟(3)、高頻信息提取與超分辨率重建，該步驟的具體處理如下：

通過均值為μ，方差為σ的高斯核函數G對經過雙向DIBR的合成虛擬視圖提取高頻分量，并與低分辨率視圖的雙三次插值結果進行融合，得到最終的超分辨率重建結果:

其中，均值μ＝0，方差σ＝1.6。