[發(fā)明專利]基于多視圖流行低秩表示的受損圖像修復(fù)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310438772.9
• 申請(qǐng)日: 2013-09-24
• 公開（公告）號(hào): CN103559683A
• 公開（公告）日: 2014-02-05
• 發(fā)明（設(shè)計(jì)）人: 卜佳俊;李平;王哲;陳純;何占盈
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵;黃美娟

技術(shù)領(lǐng)域

本發(fā)明涉及受損圖像修復(fù)的技術(shù)領(lǐng)域，特別是基于多視圖流行低秩表示的受損圖像修復(fù)方法。?

背景技術(shù)

隨著數(shù)字圖像捕獲設(shè)備廣泛應(yīng)用于生物、醫(yī)學(xué)、文物保護(hù)和遙感探測等領(lǐng)域，并在人們的日常生活中大量普及，使得無時(shí)不刻都在產(chǎn)生記錄各種類型的圖像數(shù)據(jù)。圖像作為傳達(dá)信息的媒介，因其能直觀明了地呈現(xiàn)豐富的內(nèi)容，日益占據(jù)著人類生產(chǎn)生活的重要部分。因此，研究和發(fā)展圖像技術(shù)在推動(dòng)人類文明進(jìn)步的歷程中必將產(chǎn)生深遠(yuǎn)的影響。?

在現(xiàn)實(shí)生活和應(yīng)用中，人們捕獲盒保存圖像的過程常會(huì)受到各種外界的干擾，如野外拍攝動(dòng)物時(shí)會(huì)有樹葉遮擋、醫(yī)學(xué)影像會(huì)有電磁波干擾、遙感探測中會(huì)受到大氣擾動(dòng)的影響等等。這些干擾在一定程度上將使捕獲的圖像受損，從而減弱了人們對(duì)圖像的視覺效果。因此，對(duì)受損圖像進(jìn)行修復(fù)，提高和改善視覺體驗(yàn)度，是非常具有潛在價(jià)值和現(xiàn)實(shí)意義的研究課題。?

目前，受損圖像修復(fù)集中在傳統(tǒng)的數(shù)字圖像處理領(lǐng)域，主要方法有基于紋理合成的方法和基于偏微分方程的方法，涉及小波分析、傅里葉變換、離散余弦變換和神經(jīng)網(wǎng)絡(luò)等技術(shù)。這些傳統(tǒng)方法在數(shù)據(jù)量少的情況下能取得很到的效果，但是當(dāng)圖像數(shù)據(jù)的數(shù)量很大時(shí)，統(tǒng)計(jì)學(xué)習(xí)的方法不管在修復(fù)效率還是修復(fù)質(zhì)量上，都具有更為明顯的優(yōu)?勢。典型的用于圖像修復(fù)的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法有低秩矩陣分解、壓縮感知和非負(fù)稀疏表達(dá)等等。而本發(fā)明中利用圖像的多視圖表達(dá)及流行結(jié)構(gòu)的特征進(jìn)行圖像修復(fù)則是較為前沿的修復(fù)技術(shù)。?

發(fā)明內(nèi)容

為了移除受損圖像中的噪聲或遮擋物，增強(qiáng)用戶對(duì)圖像的視覺體驗(yàn)效果，本發(fā)明提出了一種基于多視圖流行低秩表示的受損圖像修復(fù)方法，該方法包括以下步驟：?

1、獲取含有多種受損情形的圖像庫后，針對(duì)受損圖像進(jìn)行以下操作：?

1）從不同角度（如色彩、形狀、紋理等）提取受損圖像的多類型特征，并得到包含K類特征的集合f={f₁，…，f_k}，獲得受損圖像的多視圖表達(dá)；?

2）構(gòu)建并利用多視圖流行保持受損圖像的不同局部幾何結(jié)構(gòu)，對(duì)多視圖受損圖像進(jìn)行低秩矩陣分解，得到多視圖低秩表示和受損矩陣表示；?

3）基于集成多視圖低秩表示對(duì)受損圖像進(jìn)行修復(fù)，從而得到完整的原始圖像。?

進(jìn)一步，步驟1）中所述的受損圖像的多視圖表達(dá)，具體是：?

1）將n幅受損圖像縮放為同等大小，每幅受損圖像用d維的向量表示，則所有受損圖像可表示為一個(gè)原始像素矩陣B∈R^d×n；?

2）從色彩、形狀和紋理等角度對(duì)受損圖像提取K種特征，每種特征對(duì)應(yīng)一個(gè)視圖，如果受損圖像的第v種特征具有m_v維，那么全部受損圖像的第v個(gè)視圖用數(shù)據(jù)矩陣??????????????????????????????????????????????????表示，這樣，全部受損圖像數(shù)據(jù)的多視圖表達(dá)按列存放為矩陣V=[V¹；…；V^k]∈R^m×n，其中???為多視圖表達(dá)的數(shù)據(jù)維度。?

進(jìn)一步，步驟2）中所述的構(gòu)建并利用多視圖流行保持受損圖像的不同局部幾何結(jié)構(gòu)，具體是：?

1）數(shù)據(jù)的流行反映了數(shù)據(jù)的本征結(jié)構(gòu)，一般通過拉普拉斯矩陣表示，對(duì)受損圖像的不同視圖構(gòu)建基于p近鄰的拉普拉斯矩陣L可反映其不同的局部結(jié)構(gòu)；?

2）設(shè)第v個(gè)受損圖像視圖上對(duì)應(yīng)的鄰接權(quán)重矩陣為W^v，第v個(gè)視圖的所有受損圖像可看做一個(gè)圖，每幅圖像看成圖的頂點(diǎn)，對(duì)第v個(gè)視圖中的任意一幅圖像x_i，根據(jù)歐氏距離在整個(gè)視圖中搜索它的p個(gè)鄰居圖像，在它們之間建立一條邊并賦予它們之間的權(quán)重為1，即????其中j代表x_i的鄰居索引，若兩點(diǎn)之間無邊，則權(quán)重設(shè)為0；?

3）根據(jù)鄰接權(quán)重矩陣W^v計(jì)算對(duì)角矩陣D^v，該矩陣對(duì)角線上的元素值為W^v對(duì)應(yīng)列元素的累加和，即???這樣，第v個(gè)受損圖像視圖對(duì)應(yīng)的流行為L^v=D^v-W^v；?

4）根據(jù)上述方法可以此構(gòu)建受損圖像多個(gè)視圖對(duì)應(yīng)的多個(gè)流行。?

進(jìn)一步，步驟2）中所述的對(duì)多視圖受損圖像進(jìn)行低秩矩陣分解，具體是：?