[發(fā)明專利]改進(jìn)的基于最近特征線流形學(xué)習(xí)的人臉超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710817616.1
• 申請(qǐng)日: 2017-09-12
• 公開(kāi)（公告）號(hào): CN107680037B
• 公開(kāi)（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 渠慎明;張東生;蘇靖;王永強(qiáng);王青博
• 申請(qǐng)（專利權(quán)）人: 河南大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06K9/00
• 代理公司: 鄭州聯(lián)科專利事務(wù)所(普通合伙) 41104
• 代理人: 劉建芳

本發(fā)明公開(kāi)了一種改進(jìn)的基于最近特征線流形學(xué)習(xí)的人臉超分辨率重建方法，在現(xiàn)有基于最近特征線流形學(xué)習(xí)的人臉超分辨率重建方法的基礎(chǔ)上，通過(guò)對(duì)于投影點(diǎn)落在兩個(gè)樣本點(diǎn)之間的連接線的外推線上的情況進(jìn)行區(qū)分處理，即當(dāng)投影點(diǎn)到兩個(gè)樣本點(diǎn)的歐氏距離之和大于兩個(gè)樣本點(diǎn)之間的歐氏距離的W倍，則從兩個(gè)樣本點(diǎn)中查找距離投影點(diǎn)較近的樣本點(diǎn)替換投影點(diǎn)，形成待篩選點(diǎn)集，這樣對(duì)投影點(diǎn)進(jìn)行限制使得其與樣本點(diǎn)具有更強(qiáng)的關(guān)聯(lián)性，可以很大程度地提高新得到的樣本數(shù)據(jù)對(duì)輸入低分辨率圖像塊的表達(dá)能力，盡量避免引入原圖像不存在的細(xì)節(jié)信息，提高低分辨率圖像的重建效果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種改進(jìn)的基于最近特征線流形學(xué)習(xí)的人臉超分辨率重建方法。

背景技術(shù)

2016年政府工作報(bào)告中強(qiáng)調(diào)：“創(chuàng)新社會(huì)治安綜合治理機(jī)制，以信息化為支撐推進(jìn)社會(huì)治安防控體系建設(shè)，依法懲治違法犯罪行為，嚴(yán)厲打擊暴力恐怖活動(dòng)，增強(qiáng)人民群眾的安全感”；目前在眾多安防手段中，視頻監(jiān)控及圖像處理技術(shù)在預(yù)防打擊犯罪等方面發(fā)揮著越來(lái)越重要的作用，但是據(jù)統(tǒng)計(jì)數(shù)據(jù)顯示，白天獲得的監(jiān)控圖像質(zhì)量差比高達(dá)60％，夜晚更是高達(dá)95％，因此，如何在原始低質(zhì)量嫌疑人的人臉圖像的基礎(chǔ)上重建得到高質(zhì)量可辨識(shí)的人臉圖像成為視頻偵查的迫切需求。

目前，基于學(xué)習(xí)的人臉超分辨率重建方法的研究處于圖像處理領(lǐng)域的主要研究方向，基于學(xué)習(xí)的人臉超分辨率重建方法是一種根據(jù)觀測(cè)到的低分辨率人臉圖像，利用高、低分辨率人臉圖像訓(xùn)練庫(kù)樣本，重建得到與輸入低分辨率人臉圖像最相似的高分辨率人臉圖像，它能夠重現(xiàn)人臉的局部細(xì)節(jié)，達(dá)到增強(qiáng)人臉辨識(shí)的準(zhǔn)確性的目的；相較于傳統(tǒng)方法，基于學(xué)習(xí)的人臉超分辨率重建方法借助訓(xùn)練樣本得到的先驗(yàn)信息，可以獲得更好的重建效果和更高的放大倍數(shù)。

基于學(xué)習(xí)的人臉圖像超分辨率重建方法的基本前提是低分辨率人臉圖像的樣本圖像塊和高分辨率人臉圖像的樣本圖像塊之間具有相似的局部幾何結(jié)構(gòu)，然而想要實(shí)現(xiàn)這種假設(shè)，則必須滿足兩個(gè)前提條件：第一，樣本數(shù)據(jù)稠密地采樣于潛在流形空間；第二，樣本不受噪聲干擾；針對(duì)第一個(gè)前提條件，在不考慮樣本個(gè)體重復(fù)的情況下，現(xiàn)有人臉圖像庫(kù)樣本數(shù)最大的也不會(huì)超過(guò)2000個(gè)樣本數(shù)，即使將它們組成訓(xùn)練集放入高維人臉流形空間中，也不過(guò)組成一個(gè)稀疏樣本空間；因此，現(xiàn)有人臉圖像庫(kù)樣本并不能滿足基于學(xué)習(xí)的人臉圖像超分辨率重建方法假設(shè)成立的前提條件，并且，人臉圖像庫(kù)的創(chuàng)建又是一個(gè)非常耗時(shí)且復(fù)雜的過(guò)程，創(chuàng)建算法的運(yùn)行過(guò)程中也會(huì)占用大量的計(jì)算資源；因此，通過(guò)簡(jiǎn)單地增加人臉圖像樣本數(shù)量來(lái)擴(kuò)展人臉圖像庫(kù)來(lái)解決流形空間采樣不夠稠密的問(wèn)題是不現(xiàn)實(shí)的。

2014年，武漢大學(xué)的Jiang等人在圖像處理領(lǐng)域引入了最近特征線的思想，提出了一種基于最近特征線流形學(xué)習(xí)的人臉超分辨率重建方法，該專利的申請(qǐng)?zhí)枮?01110421817.2，該方法通過(guò)將最近特征線思想引入超分辨率重建，擴(kuò)充樣本庫(kù)的表達(dá)能力；首先發(fā)明人從低分辨率訓(xùn)練樣本庫(kù)選出和待查詢樣本點(diǎn)最近鄰的樣本圖像；其次將篩選后的樣本圖像作為樣本點(diǎn)兩兩相連得到對(duì)應(yīng)的特征線，求取待查詢樣本點(diǎn)在每條特征線上的投影點(diǎn)，從而實(shí)現(xiàn)樣本數(shù)據(jù)的擴(kuò)容工作，解決流形空間采樣不夠稠密的問(wèn)題；然后從得到的投影點(diǎn)中選擇與待查詢樣本點(diǎn)最近鄰的部分投影點(diǎn)，求取待查詢樣本點(diǎn)與最近鄰?fù)队包c(diǎn)之間的線性重構(gòu)權(quán)重；最后用與最近鄰部分低分辨率投影點(diǎn)相對(duì)應(yīng)的高分辨率投影點(diǎn)替換低分辨率投影點(diǎn)，重建獲得目標(biāo)高分辨率圖像。

上述方法雖然極大地?cái)U(kuò)充了樣本數(shù)據(jù)的表達(dá)能力，但在選擇最近鄰?fù)队包c(diǎn)時(shí)，缺乏必要的約束信息，引入原圖像不存在的細(xì)節(jié)信息，造成了圖像重建效果不理想。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供改進(jìn)的基于最近特征線流形學(xué)習(xí)的人臉超分辨率重建方法,能夠在最近特征線流形學(xué)習(xí)的人臉超分辨率重建方法的基礎(chǔ)上，盡量避免引入原圖像不存在的細(xì)節(jié)信息，提高低分辨率圖像的重建效果。

本發(fā)明采用的技術(shù)方案為：一種改進(jìn)的基于最近特征線流形學(xué)習(xí)的人臉超分辨率重建方法，包括如下步驟：