[發(fā)明專利]計算合成圖片的方法與裝置

有效

• 申請?zhí)枺?/td>: 201380074686.2
• 申請日: 2013-05-14
• 公開（公告）號: CN105052136B
• 公開（公告）日: 2017-04-12
• 發(fā)明（設(shè)計）人: 亞采克·科涅奇
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種計算視覺場景的合成圖片的方法和裝置，尤其涉及計算機視覺領(lǐng)域、3D視頻處理領(lǐng)域以及3D視頻合成領(lǐng)域。

背景技術(shù)

3D視頻合成是在需要虛擬視圖渲染的應(yīng)用中使用。該類應(yīng)用包括如自由視點電視(FTV)，視點可以根據(jù)觀看者的喜好選擇；或者如多視角視頻的3D視頻編碼，其中一些視圖是由其他視圖合成，通過限制待傳輸視圖的數(shù)目以增強對內(nèi)容的壓縮。在3D視頻中，視圖合成是基于可用參考視圖(物理視圖，也稱作紋理視圖)創(chuàng)造虛擬視圖的過程，其中視覺場景是從可用參考視圖中獲取。

視圖合成的最常用方法是在[LMcMillan，Animage-basedapproachtothree-dimensionalcomputergraphics，博士論文，美國，北卡羅來納大學(xué)教堂山分校，1997年4月]中描述，被稱作基于深度圖像繪制(DIBR)方法。該方法利用深度圖從視點定義場景點之間的距離，以使將對應(yīng)的紋理信息投射成虛擬視圖位置。

深度圖可定義為描述視覺場景中各部分間距的信息，可以以灰度圖像的形式呈現(xiàn)，或者可以使用視差圖呈現(xiàn)，其中視差圖的取值與代表深度圖的取值成反比。基于DIBR合成方法中，可以分為前向投影算法和后向投影算法兩種方法。在前向投影算法中，參考視圖中圖片的每個樣本的坐標投射到合成圖片上，形成非整數(shù)樣本坐標。這意味著合成圖片中樣本的實際取值必須以某種方式從參考視圖投射出的最近樣本估算出來。另一方面，在后向投影方法中，合成圖片中每個樣本的坐標都投射到參考視圖上。因此，樣本的取值是基于靠近該投影樣本的位置的參考視圖中圖片的樣本決定。兩種方法在一些方面是有區(qū)別的，比如空洞區(qū)域檢測和處理以及同時掃描超過一張參考視圖從而通過插值方法生成合成輸出圖片或者所需圖像的可能性也就是說，水平方向放置的左參考視圖和右參考視圖能被區(qū)分開來。依據(jù)基于深度圖像繪制(DIBR)方法的最有效的尖端虛擬視圖合成算法依賴于前向投影算法，該前向投影算法合并由左參考視圖和右參考視圖合成的圖片，從而生成合成輸出圖片。當前最尖端的解決方案—HEVC測試模型采用如圖1所示的合成算法100。HEVC測試模型為[H.Schwarz，K.Wegner，TestModelunderConsiderationforHEVCbased3Dvideocoding，MPEGDoc，m12350，2011年11月]中描述的JCT-3V(3D聯(lián)合ITU-T/MPEG標準化工作)所采用。