[發(fā)明專利]基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410361183.X
• 申請(qǐng)日: 2014-07-25
• 公開（公告）號(hào): CN104166992B
• 公開（公告）日: 2017-03-29
• 發(fā)明（設(shè)計(jì)）人: 龔永義;李可宏;羅笑南;關(guān)柏良;姜靈敏
• 申請(qǐng)（專利權(quán)）人: 廣東外語(yǔ)外貿(mào)大學(xué);中山大學(xué)
• 主分類號(hào): G06T7/33
• 分類號(hào): G06T7/33;G06T3/40
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法，可應(yīng)用于雙目圖像的多尺度縮小和放大處理。

背景技術(shù)

隨著不同規(guī)格3D顯示設(shè)備的推廣，為了適應(yīng)不同橫縱比顯示屏幕的播放要求，雙目圖像的非等比例縮放得到國(guó)內(nèi)外學(xué)者的關(guān)注。傳統(tǒng)的內(nèi)容感知圖像縮放方法重點(diǎn)研究2D圖像的縮放。研究點(diǎn)包括顯著區(qū)域的準(zhǔn)確檢測(cè)，圖像扭曲、斷裂的避免，圖像主要特征和平滑性的保持等，可大致分為離散型和連續(xù)型兩種縮放方法。其中離散型方法包括基于seam?carving、分塊處理以及智能裁剪的方法，連續(xù)型方法主要是基于網(wǎng)格變形的圖像縮放方法。由于傳統(tǒng)方法沒(méi)有引入雙目圖像的立體約束，導(dǎo)致縮放過(guò)程中左、右目視圖對(duì)應(yīng)區(qū)域縮放程度不一致，此類方法并不適用于雙目圖像的非等比例縮放。

近年來(lái)，內(nèi)容感知的雙目圖像縮放研究取得一定的成果。相關(guān)方法可分為離散型方法和連續(xù)型方法。離散型方法主要是基于seam?carving的方法。Utsugi?Kei最早將seam?carving算法用于雙目圖像縮放，之后Basha?Tali等學(xué)者于2011年提出的幾何一致的seam?carving雙目圖像縮放方法。這類方法通過(guò)同時(shí)刪除雙目視圖的對(duì)應(yīng)seam點(diǎn)維持立體信息。但是離散型方法刪除了圖像有效信息，容易破壞物體結(jié)構(gòu)和連續(xù)性。連續(xù)型方法主要是基于網(wǎng)格變形的方法，這類方法能夠一定程度上彌補(bǔ)離散型方法破壞圖像連續(xù)性的缺陷。Che-Han?Chang等學(xué)者于2011年提出內(nèi)容感知的雙目圖像編輯方法。該方法采用尺寸不變特征轉(zhuǎn)換(SIFT，Scale-invariant?Feature?Transform)稀疏匹配點(diǎn)在網(wǎng)格變形過(guò)程中加入立體約束，保持圖像的立體信息。但是，經(jīng)這種方法處理后，圖像中直線物體容易發(fā)生彎曲，給用戶帶來(lái)不舒適的觀看體驗(yàn)。同時(shí)尺寸不變特征轉(zhuǎn)換稀疏對(duì)應(yīng)關(guān)系取決于圖像的場(chǎng)景結(jié)構(gòu)，該方法存在應(yīng)用場(chǎng)景的限制。

綜上可知，現(xiàn)有的內(nèi)容感知雙目圖像縮放方法在實(shí)際使用上顯然存在局限與缺陷，所以有必要加以改進(jìn)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)在雙目圖像縮放時(shí)存在的缺陷和不足，本發(fā)明提出一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法。該方法在網(wǎng)格變形過(guò)程中引入直線特征約束，能夠保留圖像的直線特征。采用梯度圖和顯著圖檢測(cè)圖像重要區(qū)域以增強(qiáng)圖像中的物體邊緣信息，更好地突出重要物體。并采用內(nèi)容感知的隨機(jī)匹配關(guān)系有效保持雙目圖像的立體信息。

本發(fā)明所解決的技術(shù)問(wèn)題可采用如下的技術(shù)解決方案來(lái)實(shí)現(xiàn)：

一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法，包括以下步驟：

A、輸入原始左目視圖和右目視圖，并設(shè)定目標(biāo)圖像的分辨率，確定雙目圖像在水平方向和垂直方向的縮放比例；

B、對(duì)原始左目視圖和右目視圖分別構(gòu)造覆蓋圖像的均勻四邊形網(wǎng)格；

C、對(duì)原始左目視圖和右目視圖分別計(jì)算左、右目視圖的網(wǎng)格級(jí)重要程度圖；

具體的，左、右網(wǎng)格級(jí)重要程度圖由融合對(duì)應(yīng)的顯著圖和梯度輪廓圖的方法確定。首先對(duì)左、右目視圖進(jìn)行顯著區(qū)域檢測(cè)得到左、右目顯著圖，然后將左、右目視圖轉(zhuǎn)換為灰度圖像后計(jì)算出對(duì)應(yīng)的左、右目梯度輪廓圖像，融合顯著圖與梯度輪廓圖得到像素級(jí)重要程度圖，對(duì)網(wǎng)格內(nèi)的像素重要程度求平均得到網(wǎng)格級(jí)重要程度圖。

D、對(duì)原始左目視圖和右目視圖分別進(jìn)行直線特征檢測(cè)操作，構(gòu)造網(wǎng)格級(jí)直線特征集合；

首先利用Hough變換分別從左、右目梯度輪廓圖識(shí)別直線特征，再將直線特征從像素級(jí)別映射到網(wǎng)格中，構(gòu)造網(wǎng)格級(jí)直線特征集合。

E、根據(jù)步驟C得到的左、右目視圖的網(wǎng)格級(jí)重要程度圖，建立網(wǎng)格縮放能量函數(shù)；

具體的，步驟E所述的網(wǎng)格縮放能量函數(shù)包括：

網(wǎng)格扭曲能量函數(shù)，用于限制不同重要程度的網(wǎng)格發(fā)生扭曲的程度；網(wǎng)格扭曲能量函數(shù)由網(wǎng)格頂點(diǎn)位置決定，并考慮左、右目視圖的網(wǎng)格級(jí)重要程度。

網(wǎng)格邊彎曲能量函數(shù)，用于限制網(wǎng)格邊盡可能不發(fā)生彎曲；

邊界失真能量函數(shù)，用于避免網(wǎng)格縮放過(guò)程中出現(xiàn)越界而丟失邊界信息；

垂直視差能量函數(shù)，用于減少縮放過(guò)程中左、右目視圖水平不對(duì)稱而產(chǎn)生的垂直視差；

視差一致失真能量函數(shù)，用于維持左、右目視圖重要區(qū)域的視差信息。

其中垂直視差能量函數(shù)或視差一致失真能量函數(shù)，屬于雙目圖像立體約束能量函數(shù)，用于保持雙目圖像的立體信息，采用內(nèi)容感知的隨機(jī)匹配點(diǎn)確定。