[發明專利]一種填補圖像空洞的方法及其裝置

有效

• 申請號: 201310277116.5
• 申請日: 2013-07-02
• 公開（公告）號: CN103384343A
• 公開（公告）日: 2013-11-06
• 發明（設計）人: 曹汛;徐金杰;閆鋒
• 申請（專利權）人: 南京大學
• 主分類號: H04N13/04
• 分類號: H04N13/04;G06T15/00;G06T5/00
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 唐代盛

1.一種填補圖像空洞的方法，其特征在于步驟如下：

S1，在待處理的視頻幀序列及各幀對應的深度圖中，將欲處理的目標幀作為第一視圖，并選出該第一視圖對應的深度圖；

S2，由第一視圖及其對應的深度圖利用圖像渲染算法，對欲求的虛擬視點圖像進行渲染，得到第二視圖；

S3：根據預設閾值，對第二視圖中所述空洞的大小進行劃分，將第二視圖中規模小于所設閾值的空洞視為是由量化誤差造成的，稱為小空洞，并對小空洞進行填補；

S4：根據預設閾值，將第二視圖中規模大于所設閾值的空洞視為因場景點遮擋而產生的空洞，稱為大空洞，并根據該大空洞內部像素的取值范圍及在該大空洞邊緣之外取預設個數的像素點，確定出該大空洞在第二視圖中的位置；

S5：在除第一視圖對應的深度圖之外的，余下的各幀對應的深度圖中，尋找與第二視圖中的大空洞所在位置相同的像素塊；

S6：對步驟S5中獲取的像素塊的像素值進行求和處理，找出其中和值最小的像素塊所屬的深度圖，并根據該深度圖確定出它對應的那個視頻幀，將該視頻幀記為第三視圖；

S7：在所述第三視圖中，取出與第二視圖中的大空洞位置和大小均相同的像素塊，將在第三視圖中取到的像素塊復制并填補到第二視圖中的大空洞處，即根據步驟S4中所確定的第二視圖中組成大空洞的各像素點的位置坐標一一對應到所述第三視圖中的同樣位置坐標處，并在所述的第三視圖中，以這些坐標為取值依據，逐一取出這些對應坐標處的像素值，然后再將這些像素值，逐一復制到第二視圖中大空洞上相同的位置坐標處，從而填補了第二視圖中的大空洞。

2.根據權利要求1所述的填補圖像空洞的方法，其特征在于步驟S4確定出大空洞在第二視圖中的像素位置方法為：通過檢測第二視圖中每個像素點像素值的大小，確定出該空洞在第二視圖中的位置，即在檢測的過程中，首先取出第二視圖的尺寸大小，即高度和寬度的取值[m,n]，其中m代表第二視圖的高度即行數，n代表第二視圖的寬度即列數；一個行數值和一個列數值唯一確定一個像素點，（i,j）表示由第i行和第j列所確定的一個像素點，?i的取值應在[1,m]范圍之內，j的取值在[1,n]范圍之內；

然后，根據固定一行逐個取列數，當列數取完之后，即j=m，再換下一行固定，重復前面的操作，循環遍歷第二視圖中的像素點，取出每個被遍歷像素點的像素值，并判斷該值是否在[0，10]范圍內，如果滿足判斷條件，同時就確定了該像素點在第二視圖中對應的位置坐標（i,j），當遍歷完第二視圖中的全部像素點后，也就完全確定了第二視圖中的大空洞在第二視圖中的具體位置；

在使用上述循環遍歷方法進行檢測時，當檢測到一個取值滿足判定范圍的像素點（i,j）后，同時認為它的前后左右四個像素點也是滿足判定條件的點，這樣便擴大了所述大空洞在第二視圖中的位置范圍，同時將所述大空洞的所有邊緣點包括在內，最終完全找到所述大空洞在第二視圖中的位置。

3.根據權利要求1或2所述的填補圖像空洞的方法，其特征在于步驟S5中尋找與第二視圖中大空洞所在像素位置相同的像素塊方法為：

首先，在所取的像素塊中，像素塊的位置范圍需要與步驟S4中所用方法找到的大空洞的位置范圍相同，即所找到的像素塊中的各點在其所屬視頻幀序列中的位置坐標與步驟S4中所確定的組成大空洞的各像素點在第二視圖中的位置坐標相同；

其次，以步驟S4中所述方法確定的第二視圖中大空洞的位置坐標為定位信息，在第一視圖對應的深度圖之外的，余下的各視頻幀對應的深度圖中，定位到同樣的位置坐標處。組成大空洞的某像素點在第二視圖中的位置坐標為（i,j），那么就到除第一視圖對應的深度圖之外的，余下的各幀對應的深度圖中去取（i,j）坐標下的像素值；同理，以組成第二視圖中大空洞的所有像素點的位置坐標為取值依據，在余下的深度圖中，取出所有的像素值后，便得到了所有與第二視圖中大空洞規模與位置均相同的像素塊。