[發(fā)明專利]結(jié)合破損塊形狀和鄰域分類的唐卡圖像修復(fù)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201110320658.7
• 申請(qǐng)日: 2011-10-20
• 公開（公告）號(hào): CN102509319A
• 公開（公告）日: 2012-06-20
• 發(fā)明（設(shè)計(jì)）人: 王維蘭;盧小寶;胡文瑾
• 申請(qǐng)（專利權(quán)）人: 西北民族大學(xué)
• 主分類號(hào): G06T11/00
• 分類號(hào): G06T11/00;G06T7/00
• 代理公司: 甘肅省知識(shí)產(chǎn)權(quán)事務(wù)中心 62100
• 代理人: 劉繼春

1.一種結(jié)合破損塊形狀和鄰域分類的唐卡圖像修復(fù)方法，其特征是：根據(jù)破損塊形狀、破損塊鄰域的信息以及現(xiàn)有的修復(fù)算法特點(diǎn)等，自動(dòng)選擇合適的算法修復(fù)破損唐卡圖像；主要包括：第一，對(duì)破損塊形狀分類；首先使用現(xiàn)有的分水嶺方法分割待修復(fù)圖像，并對(duì)破損區(qū)域中各個(gè)破損塊的形狀分為線狀和塊狀，實(shí)現(xiàn)破損塊形狀分類；第二，對(duì)破損塊的鄰域分類；采用灰度共生矩陣提取鄰域塊的二階統(tǒng)計(jì)信息，通過(guò)灰度共生矩陣提取反應(yīng)紋理的各種特征，并對(duì)特征進(jìn)行高斯歸一化，采用現(xiàn)有的K近鄰法將鄰域塊分為紋理塊和非紋理塊，實(shí)現(xiàn)破損塊鄰域的分類；第三，對(duì)破損塊修復(fù)；結(jié)合修復(fù)算法的特點(diǎn)、破損塊的形狀和破損塊鄰域的類型制定算法的選擇規(guī)則，實(shí)現(xiàn)破損區(qū)域的自動(dòng)修復(fù)，具體步驟如下：

a.?對(duì)破損塊形狀分類

通過(guò)分水嶺分割方法和區(qū)域合并，將破損區(qū)域分割出來(lái)；其中分水嶺圖像分割分為排序過(guò)程和浸水過(guò)程；

a.1?分水嶺圖像分割

分水嶺圖像分割分為兩個(gè)步驟：排序過(guò)程和浸水過(guò)程；

排序過(guò)程和浸水過(guò)程是在梯度圖像上進(jìn)行的，對(duì)梯度圖像每個(gè)像素點(diǎn)的值按照由低到高的順序排序，灰度值為h的像素點(diǎn)劃分為一層,稱?h階高度，其中?h在0到255之間，具體過(guò)程分為以下四步：

a.1.1?計(jì)算原圖像的梯度圖像；

a.1.2?計(jì)算梯度圖像的累積直方圖；

a.1.3?根據(jù)累積直方圖對(duì)梯度圖像的像素值進(jìn)行由低到高的排序；

a.1.4?從低到高實(shí)現(xiàn)浸水過(guò)程，對(duì)每一個(gè)局部極小值在h階高度的影響域采用先進(jìn)先出結(jié)構(gòu)進(jìn)行判斷及標(biāo)注；

a.2?區(qū)域合并

排水和浸水過(guò)程形成了初始的分割區(qū)域，再將小區(qū)域合并到與其空間相鄰顏色相近的區(qū)域，然后根據(jù)顏色信息和空間信息合并到顏色相近、空間相鄰的區(qū)域；?

a.2.1?小區(qū)域的合并

a.2.1.1?將原圖像從RGB空間轉(zhuǎn)換到LUV空間；

a.2.1.2?計(jì)算初始分割區(qū)域的LUV均值；

a.2.1.3?獲取各個(gè)分割區(qū)域的鄰域；

a.2.1.4?把小區(qū)域合并到與其空間相鄰、顏色相近的區(qū)域；

a.2.1.5?更新各個(gè)小區(qū)域的LUV均值和鄰域信息，直至分割區(qū)域中不存在面積小于閾值????????????????????????????????????????????????的小區(qū)域；

a.2.2?顏色相近、空間相鄰區(qū)域的合并

a.2.2.1?在LUV空間計(jì)算每一個(gè)小區(qū)域與其鄰域的平方誤差；

a.2.2.2?判斷平方誤差中是否存在小于閾值的鄰域，如果存在，則將當(dāng)前小區(qū)域合并到平方誤差最小的區(qū)域，并更新各個(gè)區(qū)域的LUV均值和鄰域信息；否則不做任何操作；

a.2.2.3?反復(fù)進(jìn)行合并操作，直至沒(méi)有可合并的區(qū)域；

a.3?破損塊形狀分類

a.3.1?獲取破損塊

通過(guò)破損區(qū)域分割，就可以得到一幅圖像的掩膜圖像，其中破損區(qū)域每個(gè)像素點(diǎn)用1表示，非破損區(qū)域每個(gè)像素點(diǎn)用0表示；通過(guò)區(qū)域生長(zhǎng)來(lái)獲取破損塊，具體獲取算法如下：

a.3.1.1?沿掃描線方向掃描掩膜圖像，初始化破損塊標(biāo)記；

a.3.1.2?若像素點(diǎn)的值為1，則該點(diǎn)入隊(duì)列并將該點(diǎn)值更新為；

a.3.1.3彈出隊(duì)列首元素，進(jìn)行四鄰域或八鄰域區(qū)域生長(zhǎng)，如果鄰域像素點(diǎn)值為1，則入隊(duì)列，同樣將其值更新為，否則不做處理，直到隊(duì)列為空；

a.3.1.4?的值加1，重復(fù)a.3.1.2、a.3.1.3直到掃描完整幅圖像為止；

通過(guò)上述過(guò)程得到了破損塊標(biāo)記的圖像，即掩膜圖像中像素值為1、像素值為2、…、像素值為k的像素點(diǎn)的集合為破損塊；

a.3.2?提取破損塊形狀特征

a.3.2.1統(tǒng)計(jì)沿水平掃描線方向破損塊的最大連續(xù)寬度像素點(diǎn)的數(shù)量,?獲得破損塊的最大寬度；

a.3.2.2?統(tǒng)計(jì)沿掃描線垂直方向破損塊的最大連續(xù)高度像素點(diǎn)的數(shù)量，獲得破損塊的最大高度；

破損塊面積是破損塊中破損像素點(diǎn)的數(shù)量；

a.3.3?破損塊形狀分類??

本發(fā)明采用線性分類器對(duì)破損塊進(jìn)行分類，線性分類器如式(1)所示，式(1)：

?

式中：表示破損塊的最大寬度，表示破損塊的最大高度，表示取和兩者中的較小的一個(gè)，是非紋理結(jié)構(gòu)的方法能夠修復(fù)破損塊的最大寬度；當(dāng)時(shí)表示破損塊為線狀；當(dāng)時(shí)表示破損塊為塊狀；

b．破損塊的鄰域分類

圖像分割能將圖像劃分為互不相交的區(qū)域,如果要對(duì)破損塊的鄰域分類，就必須獲取這些鄰域的紋理信息，破損塊鄰域有下述狀況：破損塊周圍都是紋理區(qū)域；破損塊周圍都是非紋理區(qū)域；破損塊周圍是混合區(qū)域，也就是既有紋理區(qū)域又有非紋理區(qū)域；

b.1?破損塊的鄰域獲取方法

b.1.1?獲取分割后標(biāo)記圖像中破損塊的外邊緣標(biāo)記,外邊緣為非破損像素點(diǎn)，內(nèi)邊緣為破損像素點(diǎn)；

b.1.2?剔除重復(fù)的邊緣標(biāo)記，剩余的標(biāo)記個(gè)數(shù)即破損塊的鄰域塊數(shù)量；

剔除破損塊標(biāo)記的方法如下：

b.1.2.1?根據(jù)破損塊標(biāo)記圖像的待修復(fù)破損塊，找到分割圖像的對(duì)應(yīng)區(qū)域；

b.1.2.2?統(tǒng)計(jì)分割圖像對(duì)應(yīng)區(qū)域的各個(gè)標(biāo)記數(shù)量，找出數(shù)量最多的標(biāo)記，數(shù)量最多的標(biāo)記被默認(rèn)為分割圖像的破損塊標(biāo)記；

b.1.2.3?判斷該標(biāo)記是否存在于破損塊邊緣標(biāo)記中，如果存在于破損塊邊緣標(biāo)記中，則刪除；否則不做任何處理；

b.1.3?以剩余標(biāo)記為種子標(biāo)記，使用區(qū)域生長(zhǎng)法獲取破損塊在標(biāo)記圖像中的鄰域塊；

b.2?提取鄰域塊特征?

目前的圖像修復(fù)算法分為紋理結(jié)構(gòu)的修復(fù)算法和非紋理結(jié)構(gòu)的修復(fù)算法；因此把破損塊鄰域分為：紋理塊和非紋理塊，以選取相應(yīng)的算法修復(fù)破損圖像；

b.2.1?提取紋理特征

使用灰度共生矩陣的方法提取圖像的二階統(tǒng)計(jì)信息，進(jìn)而提取圖像的紋理特征；

b.2.1.1?灰度共生矩陣

設(shè)為一幅二維數(shù)字圖像，灰度級(jí)別為,則滿足一定空間關(guān)系的灰度共生矩陣大小為，數(shù)學(xué)定義如式(2)所示，式(2)：

其中，符號(hào)前加#號(hào)表示滿足某種條件的像素點(diǎn)頻數(shù),?和分別表示像素點(diǎn)的空間坐標(biāo)；符號(hào)表示屬于,?表示具有某種空間關(guān)系的像素對(duì)集合；和分別表示像素點(diǎn)的灰度值；

把角二階矩、對(duì)比度、相關(guān)性、熵和逆差矩作為紋理特性，具體計(jì)算方法如下：

b.2.1.2?角二階矩

角二階矩的計(jì)算如式(3)所示，式(3)：；反映了圖像局部均勻性，該值越大，表明紋理圖像越均勻；否則表明圖像有很多過(guò)渡灰度級(jí)；

b.2.1.3?對(duì)比度???

對(duì)比度的計(jì)算如式(4)所示，式(4)：；反映圖像的局部變化量，對(duì)于粗紋理，的值較?。欢鴮?duì)細(xì)紋理，的值較大；對(duì)于均勻圖像，的值為0；

b.2.1.4?相關(guān)性??

相關(guān)性的計(jì)算如式(5)所示，式(5)：；其中、、、；是灰度共生矩陣中行和列之間相似程度的度量，反映灰度的線性依賴關(guān)系；

b.2.1.5?熵???

熵的計(jì)算如式(6)所示，式(6)：；反映紋理的復(fù)雜程度，越復(fù)雜其紋理熵越高,否則傾向于低熵；

b.2.1.6?逆差矩

逆差矩的計(jì)算如式(7)所示，式(7)：；是灰度共生矩陣對(duì)比度的逆，測(cè)量圖像的局部一致性；如果圖像接近均勻，逆差矩趨向于1；

分別計(jì)算四個(gè)方向：0度、45度、90度和135度上灰度共生矩陣的上述角二階矩、對(duì)比度、相關(guān)性、熵和逆差矩五個(gè)紋理特性度量值，然后取其期望和方差作為最終特征值；?

b.3?特征歸一化????

特征歸一化按高斯歸一化公式如式（8）所示：

式（8）：?；它能夠?qū)⑻卣鳉w一化到區(qū)間;???????????????

b.4?破損塊鄰域分類??

以鄰域塊的特征提取為基礎(chǔ)，進(jìn)行破損塊鄰域分類；本發(fā)明采用K近鄰法對(duì)鄰域進(jìn)行分類；設(shè)有M個(gè)訓(xùn)練樣本，其中N₁個(gè)屬于紋理類，個(gè)屬于非紋理類；現(xiàn)有一個(gè)未知類別的樣本，要判斷它所屬的類別；用K近鄰法就是計(jì)算該樣本特征與M個(gè)訓(xùn)練樣本特征之間的距離，并將距離從小到大排序，然后取其中較小的K個(gè)，K為奇數(shù)，最后根據(jù)這K個(gè)訓(xùn)練樣本的類別標(biāo)記進(jìn)行投票，得到未知樣本的類別標(biāo)記；投票方法是：如果這K個(gè)訓(xùn)練樣本中類的數(shù)量多則屬于，類的數(shù)量多則屬于；取；?

c.?修復(fù)破損塊

c.1?建立算法庫(kù)

????將現(xiàn)有的基于樣本塊的圖像修復(fù)算法命為算法1，基于樣本的紋理合成算法命為算法2，Oliveira模型表示的算法命為算法3，CDD模型或TV模型的算法命為算法4，將4個(gè)算法作為破損塊的修復(fù)算法序列；

c.2?根據(jù)破損塊形狀和破損塊分類選擇算法并進(jìn)行修復(fù)

c.2.1?根據(jù)破數(shù)塊鄰域的破損塊分類

同質(zhì)非紋理破損塊的定義：如果破損塊的鄰域塊只有1個(gè)且為非紋理鄰域塊，則破損塊中不存在邊緣，稱這種破損類型為同質(zhì)非紋理破損；?

異質(zhì)非紋理破損塊的定義：如果破損塊的鄰域塊多于1個(gè)，且都為非紋理鄰域塊，則破損塊中存在邊緣，稱這種破損類型為異質(zhì)非紋理破損；

混合型破損塊的定義：如果破損塊的鄰域塊多于1個(gè)，且同時(shí)存在非紋理塊和紋理破損塊，則破損塊中存在邊緣，稱這種破損類型為混合型破損；

同質(zhì)紋理破損塊的定義：如果破損塊的鄰域塊只有1個(gè)且為紋理塊，則破損塊中不存在邊緣，稱這種破損類型為同質(zhì)紋理破損；

異質(zhì)紋理破損塊的定義：如果破損塊的鄰域塊多于1個(gè)，且都為紋理塊，則破損塊中存在邊緣，稱這種破損類型為異質(zhì)紋理破損；

c.2.2?算法選擇與修復(fù)

根據(jù)破損塊數(shù)量重復(fù)進(jìn)行以下步驟：

c.2.2.1?破損塊為線狀

若破損塊鄰域?yàn)楫愘|(zhì)紋理破損或混合性破損，選擇算法1進(jìn)行修復(fù)；若破損塊鄰域?yàn)橥|(zhì)紋理破損，選擇算法2進(jìn)行修復(fù)；若破損塊鄰域?yàn)橥|(zhì)非紋理破損，選擇算法3進(jìn)行修復(fù)；若破損塊鄰域?yàn)楫愘|(zhì)非紋理破損，選擇算法4進(jìn)行修復(fù)；

c.2.2.2?破損塊為塊狀

若破損塊鄰域?yàn)楫愘|(zhì)紋理破損、混合性破損或異質(zhì)非紋理破損，選擇算法1進(jìn)行修復(fù)；若破損塊鄰域?yàn)橥|(zhì)紋理破損或同質(zhì)非紋理破損，選擇算法2進(jìn)行修復(fù)；?

當(dāng)標(biāo)記破損塊數(shù)量的數(shù)值小于或者等于零時(shí)，整個(gè)修復(fù)過(guò)程結(jié)束。