[發(fā)明專利]一種視點(diǎn)合成預(yù)測(cè)編碼方法、解碼方法、對(duì)應(yīng)的裝置及碼流

有效

• 申請(qǐng)?zhí)枺?/td>: 201210125366.2
• 申請(qǐng)日: 2012-04-25
• 公開(kāi)（公告）號(hào): CN103379349A
• 公開(kāi)（公告）日: 2013-10-30
• 發(fā)明（設(shè)計(jì)）人: 趙寅;虞露
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): H04N13/00
• 分類號(hào): H04N13/00;H04N7/32
• 代理公司: 杭州宇信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33231
• 代理人: 張宇娟

1.一種視點(diǎn)合成預(yù)測(cè)編碼方法，其特征在于，當(dāng)編碼三維視頻序列中一個(gè)視點(diǎn)V1中的一個(gè)圖像I時(shí)，采用一種合成精度X，由所述三維視頻序列中另一個(gè)已編碼視點(diǎn)V2中的重建圖像和重建深度，合成所述視點(diǎn)V1中一個(gè)區(qū)域H1的視點(diǎn)合成圖像P，所述視點(diǎn)合成圖像P用于產(chǎn)生編碼圖像I的過(guò)程中視點(diǎn)合成預(yù)測(cè)需要的預(yù)測(cè)像素；同時(shí)，將所述合成精度X寫(xiě)入所述三維視頻序列的碼流中，其中視點(diǎn)V1即當(dāng)前編碼視點(diǎn)。

2.如權(quán)利要求1所述的一種視點(diǎn)合成預(yù)測(cè)編碼方法，其特征在于，所述合成精度X的獲得方法包括以下方法之一：

1)采用N種合成精度分別合成當(dāng)前編碼視點(diǎn)V1中一個(gè)區(qū)域H2的視點(diǎn)合成圖像Pn，其中N≥2，1≤n≤N，N、n為整數(shù)；計(jì)算各個(gè)視點(diǎn)合成圖像Pn與圖像I中對(duì)應(yīng)區(qū)域的圖像之間的相似度，從所有視點(diǎn)合成圖像Pn中選擇相似度最高的視點(diǎn)合成圖像對(duì)應(yīng)的合成精度作為所述合成精度X；

2)計(jì)算所述圖像I中K個(gè)區(qū)域H3k中像素的方差Vk，取像素的方差Vk的平均值V，通過(guò)關(guān)于平均值V的函數(shù)f(V)，導(dǎo)出所述合成精度X，其中1≤k≤K，k為整數(shù)；所述函數(shù)f(V)例如，其中E為常數(shù)，如E＝15，表示對(duì)x下取整，所述合成精度X為1/D像素精度。

3.如權(quán)利要求2所述的一種視點(diǎn)合成預(yù)測(cè)編碼方法，其特征在于，1)中所述“計(jì)算各個(gè)視點(diǎn)合成圖像Pn與圖像I中對(duì)應(yīng)區(qū)域的圖像之間的相似度”包括以下方法之一：

方法一：對(duì)所述視點(diǎn)合成圖像Pn中的M1個(gè)像素Q1m，分別計(jì)算各像素Q1m與所述圖像I中對(duì)應(yīng)位置的像素R1m之間的差值D1m，其中1≤n≤N，1≤m≤M1，m、M1為正整數(shù)，M1小于等于所述的區(qū)域H2中的總像素?cái)?shù)；計(jì)算D1m絕對(duì)值的平均值ValA或D1m平方值的平均值ValB，所述平均值ValA或平均值ValB越小，所述視點(diǎn)合成圖像Pn與所述圖像I中對(duì)應(yīng)區(qū)域的圖像之間的相似度越高；

方法二：對(duì)所述視點(diǎn)合成圖像Pn中的M2個(gè)像素Q2m，計(jì)算各像素Q2m和所述圖像I中對(duì)應(yīng)位置的像素R2m之間的線性相關(guān)系數(shù)C，所述線性相關(guān)系數(shù)C越大，所述視點(diǎn)合成圖像Pn與所述圖像I中對(duì)應(yīng)區(qū)域的圖像之間的相似度越高，其中1≤n≤N，1≤m≤M2，n、N、m、M2為正整數(shù)，M2小于等于所述的區(qū)域H2中的總像素?cái)?shù)。

4.一種視點(diǎn)合成預(yù)測(cè)解碼方法，其特征在于，當(dāng)解碼三維視頻序列中一個(gè)視點(diǎn)V1中的一個(gè)圖像I時(shí)，從所述三維視頻序列的碼流中解析出所述圖像I對(duì)應(yīng)的合成精度X；采用所述合成精度X，由所述三維視頻序列中另一個(gè)已解碼視點(diǎn)V2中的重建圖像和重建深度合成所述視點(diǎn)V1中一個(gè)區(qū)域H1的視點(diǎn)合成圖像P，所述視點(diǎn)合成圖像P用于產(chǎn)生解碼圖像I的過(guò)程中視點(diǎn)合成預(yù)測(cè)需要的預(yù)測(cè)像素。

5.一種視點(diǎn)合成預(yù)測(cè)編碼裝置，其特征在于包括以下兩個(gè)模塊：

視點(diǎn)合成圖像生成模塊，采用一種合成精度X生成視點(diǎn)合成圖像，其輸入包括合成精度X、三維視頻序列中一個(gè)已編碼視點(diǎn)V2中的重建圖像和重建深度、以及所述已編碼視點(diǎn)V2和當(dāng)前編碼視點(diǎn)V1的攝像機(jī)參數(shù)信息，其輸出包括所述視點(diǎn)V1中一個(gè)區(qū)域H1的視點(diǎn)合成圖像P，其完成的處理包括在編碼所述視點(diǎn)V1中的一個(gè)圖像I時(shí)，采用所述合成精度X，由所述已編碼視點(diǎn)V2中的重建圖像和重建深度，合成所述視點(diǎn)V1中一個(gè)區(qū)域H1的視點(diǎn)合成圖像P，所述視點(diǎn)合成圖像P用于產(chǎn)生編碼圖像I的過(guò)程中視點(diǎn)合成預(yù)測(cè)需要的預(yù)測(cè)像素；

合成精度寫(xiě)入模塊，將所述合成精度X寫(xiě)入所述三維視頻序列的碼流，其輸入包括所述合成精度X和所述三維視頻序列的碼流，其輸出包括含有所述合成精度X的三維視頻序列碼流，其完成的處理包括將所述合成精度X寫(xiě)入所述三維視頻序列的碼流。