[發明專利]一種基于梯度融合與聚類的三維視頻圖像修復方法

有效

• 申請號: 201710333522.7
• 申請日: 2017-05-12
• 公開（公告）號: CN107240073B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 唐向宏;來伊麗;李齊良;樓幸欣
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06K9/62
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

本發明公開了一種基于梯度融合與聚類的三維視頻圖像修復方法，其按如下步驟進行：步驟1、構建梯度圖像；步驟2、利用K均值聚類獲得前景標記；步驟3、提取前景及修復填充空洞。在傳統的分水嶺算法中，由于偽局部極小值對分割的影響，容易產生嚴重的過分割現象。本發明基于分水嶺算法，標記提取、梯度圖構建、前/背景提取等角度，提供一種基于梯度融合與聚類的三維視頻圖像空洞填充方法。結合彩色圖和深度圖的梯度信息能較好地考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，能夠有效地表達圖像的梯度；采用K均值聚類對深度圖進行前景標記，以抑制分水嶺過分割現象。

技術領域

本發明屬于視頻圖像修復技術領域，具體一種基于梯度融合與聚類的三維視頻圖像修復方法。

背景技術

基于深度圖像繪制(DIBR)的視圖合成是三維(3D)視頻中常用的重要技術。該技術的核心思想就是通過3D轉換處理對參考視圖的紋理圖和深度圖進行虛擬視圖的合成。由于DIBR技術在生成的虛擬視點圖像時，存在暴露區域(即空洞)，嚴重影響了圖像質量。因此，如何消除空洞的效果成為人們研究的熱點。

為實現空洞的修復填充，大量的文獻提出了不同的方法。一類是通過低通濾波器實現，常用的有高斯濾波器，雙邊濾波器等，但是這類方法主要通過平滑深度圖像的梯度來減少空洞的面積，容易造成圖像的結構信息的改變，引起幾何扭曲。另一類方法是利用圖像的紋理信息對空洞進行填充，主要利用各種圖像修復技術來實，如各向同(異)性擴散、整體變分、偏微分方程(PDE)、光流場、紋理合成等方法。其中，PDE方法對平滑區域的恢復效果較好，但會模糊紋理細節。紋理合成技術則綜合考慮了缺損區域邊緣的結構和紋理，可以獲得一個相對較好的效果，并且對于分別屬于前景和背景區域的空洞，產生的原因不同，有針對性的采取不同的填充方式就能獲得更好的效果。

為了從原始圖像中獲得可用于填充空洞的背景信息，需對圖像進行分割，提取感興趣的信息用于空洞填充。分水嶺變換是近幾年發展起來的形態學分割方法，它保留了傳統分割方法的優點，能夠準確地獲得前景物體的邊緣信息，為后期提供了較好的預分割圖像的操作。然而，由于大多數自然彩色分布圖像具有較多的細致紋理特征，若直接采用分水嶺變換進行分割，將導致其局部最小值過多，對那些對比度不高的圖像很可能造成重要的分割線丟失。

發明內容

本發明的目的是針對三維視頻圖像的空洞填充中的前景背景分割時，容易造成前景對象提取不準確而影響修復效果的不足，采用深度圖的深度梯度結構信息對原有梯度圖進行改進，并對深度圖進行K均值聚類，獲得標記圖進行標記修正，提出了一種基于梯度融合與聚類的三維視頻圖像修復方法。

本發明解決其技術問題所采取以下技術方案：

一種基于梯度融合與聚類的三維視頻圖像修復方法，其針對三維視頻圖像的空洞填充中的前景背景分割時，容易造成前景對象提取不準確而影響修復效果的不足，本發明采用分水嶺算法與標記相結合的辦法，對圖像進行分割；充分利用深度圖像的深度梯度結構信息，采用K均值聚類對梯度圖像進行標記修正，以增強對前景對象的辨別能力。具體的：結合彩色圖像和深度圖像的梯度提取，充分考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，引入融合梯度，有效地表達圖像的梯度，更好地衡量富含結構及紋理部分區域樣本塊之間的特征差別；為了有效抑制分水嶺過分割現象和提取圖像的前/背景，采用標記圖像進行梯度重構優化，較好地克服了分水嶺算法的過分割現象。

與彩色圖相比，由于深度圖不受光源照射方向及物體表面的反射特性的影響，而且不存在陰影。所以，深度圖可以更準確地表現物體目標表面的三維深度信息，故結合彩色圖和深度圖的梯度信息來獲得融合梯度圖，更好地衡量富含結構及紋理部分區域樣本塊之間的特征差別。由于在分水嶺變換時，因為局部極小值對分割的影響，容易產生嚴重的過分割現象，為此，采用K均值聚類方法對深度圖進行前景標記，并對融合梯度圖進行修改優化。具體實現步驟如下：

步驟1、梯度圖像的構建