[發明專利]一種基于梯度融合與聚類的三維視頻圖像修復方法

有效

• 申請號: 201710333522.7
• 申請日: 2017-05-12
• 公開（公告）號: CN107240073B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 唐向宏;來伊麗;李齊良;樓幸欣
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06K9/62
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

1.一種基于梯度融合與聚類的三維視頻圖像修復方法，其特征是按如下步驟進行：

步驟1、構建梯度圖像；

步驟2、利用K均值聚類獲得前景標記；

步驟3、提取前景及修復填充空洞；

步驟1，采用彩色向量空間梯度算法，直接在RGB向量空間計算梯度；設是RGB彩色空間沿R、G、B軸的單位向量，像素沿水平方向和垂直方向的彩色梯度用向量來表述：

根據這些矢量的點積，分別定義g_xx、g_yy和g_xy如下：

由此可得彩色圖像的梯度圖為：

其中，變量θ的大小為：

對深度圖進行梯度處理：

令G_depth為深度圖像I的深度梯度圖，其中任意像素點的梯度值為：

其中，G_x，G_y為水平方向梯度與垂直方向梯度，大小分別利用模板Sobel算子與圖像I進行卷積計算而得；結合彩色梯度圖G_color與深度梯度圖G_depth，對彩色圖像的梯度圖重新定義為：

G＝αG_color+βG_depth (9)

其中，α+β＝1，取α＝0.4，β＝0.6；

步驟2，采用K均值聚類方法對深度圖進行初步提取前景，獲取感興趣的目標對象；

利用K均值聚類，K＝2，將深度圖粗糙的分為兩類，白色區域為前景，黑色區域為背景；通過檢測連續幀之間的前景區域的變化，對被遮擋的背景進行更新；當利用K均值聚類對第n幀的深度圖像進行處理時，可獲得第一個前景模板；對第n+1幀進行相同處理，獲得第二個前景模板；比較第一個和第二個前景模板之間的差別，獲得第n幀與第n+1幀之間的前景對象的移動區域，記為以此類推，用相同的方法處理第n幀與其它剩余幀之間的前景對象移動區域最后將獲得的所有前景對象移動區域進行疊加，最終獲得第n幀在整個視頻序列中的前景對象移動區域，即將所提取的前景對象移動區域簡稱為第n幀的標記圖；

在獲取第n幀的標記圖后，對融合梯度圖G進行修改優化；根據標記圖中的前景對象移動區域逐一找到融合梯度圖G中對應的區域，并將該區域的梯度值強制標定為局部極小值，得到修改優化后的梯度圖，記為G′。

2.如權利要求1所述基于梯度融合與聚類的三維視頻圖像修復方法，其特征是：

步驟3，當完成對梯度圖優化后，利用分水嶺變換，對優化梯度圖進行分割，提取前景；令I_ws分水嶺變換結果，即

I_ws＝watershed(G′) (10)

其中，watershed(·)表示分水嶺；

在此基礎上，再次利用前景標記對分水嶺變換后的圖像I_ws進行前景提取；若將分水嶺變換后的圖像I_ws中的區域定義為Γ_i(i≥1)，利用前景標記Γ_K對區域Γ_i中的像素點p進行前景判斷，并計算區域Γ_i內的前景像素點所占百分比：

根據α的大小，按以下原則判斷該區域是否為前景區域：當α≥0.5時，該區域為前景區域；當α＜0.5時，該區域為背景區域；

獲取背景圖；

對空洞的修復填充原則是，對由前景移動產生的空洞，利用背景圖像進行填充；對非前景移動產生的空洞，則利用Criminisi算法進行填充；

由于因前景移動產生的空洞主要出現前景和背景的交界處，即深度值產生大幅度跳變的區域，因此，對深度圖像中的深度值進行檢測，確定出現空洞的位置，利用背景圖像中的相應區域對空洞進行填充；檢測深度值突變的公式如下所示：

其中，D(i’,j’)為點(i’,j’)處的深度值；對于Dmask＝1,2的像素點，利用背景圖像進行填充；對于Dmask＝0的像素點，利用Criminisi算法進行填充。

3.如權利要求2所述基于梯度融合與聚類的三維視頻圖像修復方法，其特征是：采用幀差法獲取背景圖，具體步驟如下：

(1)對視頻序列中的每一幀進行分水嶺變換，獲得每一幀的前景區域和背景區域；

(2)選取其中一幀，逐一將該幀的前景區域與其他幀的前景區域進行比較，獲得遮擋區域；

(3)利用其他幀的背景區域對遮擋區域進行填充，最后獲得整個視頻的背景圖像。