[發(fā)明專利]一種人體圖像超分辨率重建方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210422556.4
• 申請日: 2022-04-21
• 公開（公告）號(hào): CN114881856A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 張琦;孫季豐
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 鄭宏謀

本發(fā)明公開了一種人體圖像超分辨率重建方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)，其中方法包括：對(duì)三維人體數(shù)據(jù)集進(jìn)行降維處理，得到二維人體圖像的數(shù)據(jù)集，作為訓(xùn)練集；將空間特異性卷積模塊和多頭注意力機(jī)制模塊對(duì)標(biāo)準(zhǔn)卷積進(jìn)行改進(jìn)，得到新型卷積；使用新型卷積來代替標(biāo)準(zhǔn)卷積應(yīng)用在基礎(chǔ)的圖像超分網(wǎng)絡(luò)方法，得到初始網(wǎng)絡(luò)；采用訓(xùn)練集對(duì)初始網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得圖像超分辨率模型；獲取低分辨率的人體圖像，將低分辨率的人體圖像輸入圖像超分辨率模型進(jìn)行重建，獲得高分辨率的人體圖像。本發(fā)明基于空間特異性卷積模塊和多頭注意力機(jī)制模塊，充分提取到空間上具有差異性的有用特征，提高圖像的重建性能，可廣泛應(yīng)用于圖像超分辨率技術(shù)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像超分辨率技術(shù)，尤其涉及一種人體圖像超分辨率重建方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著時(shí)代的不斷發(fā)展，人們對(duì)身邊的各種信息質(zhì)量也有更高的要求，尤其是在短視頻蓬勃發(fā)展的近些年，人們對(duì)畫面的清晰度和連貫性有著更高的期待。視頻是由多幀圖像在時(shí)間上通過相關(guān)性組成的，因此圖像的清晰像素和豐富細(xì)節(jié)會(huì)給人們帶來更多的信息和更好的體驗(yàn)。近幾年卷積神經(jīng)網(wǎng)絡(luò)(CNN)的發(fā)展給計(jì)算機(jī)視覺領(lǐng)域指出了新的方向，在圖像超分辨率(SISR)任務(wù)中，卷積神經(jīng)網(wǎng)絡(luò)的引入不僅突破了傳統(tǒng)方法存有的限制，而且圖像的質(zhì)量上得到了大幅度提升，通過學(xué)習(xí)數(shù)據(jù)分布的方式來重建圖像還可以獲得靈活性更好的模型。

Dong等人提出了一種只有三層卷積組成的簡單神經(jīng)網(wǎng)絡(luò)，稱為SRCNN，算法直接學(xué)習(xí)LR-HR之間的非線性映射，由于CNN的引入，盡管只有淺層的網(wǎng)絡(luò)組成，其性能表現(xiàn)良好，這是深度學(xué)習(xí)第一次被引入到圖像超分辨任務(wù)中并且取得很好的效果，為深度學(xué)習(xí)在該任務(wù)的繼續(xù)研究奠定了基礎(chǔ)。同時(shí)作者又提出了FSRCNN，讓網(wǎng)絡(luò)在末端位置上采用反卷積層，回避了輸入時(shí)就放大圖像尺寸給網(wǎng)絡(luò)處理上帶來的開銷。使用反卷積操作可以避免網(wǎng)絡(luò)在高維空間上學(xué)習(xí)，ESPCN提出的亞像素卷積層的概念也能起到相同作用，它只在最后一層放大特征圖，此時(shí)再對(duì)像素進(jìn)行重排列，具體指的是在卷積層最后輸出的特征個(gè)數(shù)與需要還原的高分辨率圖像的像素個(gè)數(shù)一致，將像素重排列就可以恢復(fù)高分辨率圖像。

為了進(jìn)一步提高性能，Kim等人將卷積層的深度增加到了20層，同時(shí)引入了全局殘差學(xué)習(xí)，提出了更加精確的VDSR，用更深的網(wǎng)絡(luò)是為了提取更多的特征，全局殘差學(xué)習(xí)的引入可以在一定程度上解決網(wǎng)絡(luò)過深可能存在的梯度消失或爆炸問題，這使得該網(wǎng)絡(luò)的效果進(jìn)一步的得到提升。考慮到網(wǎng)絡(luò)深度不斷的增加，即使加入了全局殘差學(xué)習(xí)，仍然會(huì)有梯度消失或爆炸問題的存在，因此Tai等人在受到ResNet的啟發(fā)之后，提出了DRRN，將局部殘差學(xué)習(xí)加入到網(wǎng)絡(luò)的設(shè)計(jì)中，介紹了一種包含局部殘差學(xué)習(xí)的方法。當(dāng)然，影響SISR性能的因素還包括每層中特征的多樣性和信息性，因此，注意力機(jī)制模塊被嵌入到圖像的處理中，以特征增強(qiáng)的方式提高CNN在圖像超分辨率任務(wù)中的性能，在RCAN中，Zhang等人將通道注意力應(yīng)用于在圖像任務(wù)中，利用通道之間的關(guān)系對(duì)不同通道的特征進(jìn)行區(qū)別對(duì)待，最終顯著提升圖像超分辨率的性能。

另外，隨著生成對(duì)抗網(wǎng)絡(luò)(GAN)的出現(xiàn)并在圖像生成任務(wù)中取得一定的成績，GAN被更多研究人員關(guān)注，Leding等人將其應(yīng)用在圖像超分辨率上，提出了SRGAN，并且使用感知損失函數(shù)，加入VGG預(yù)訓(xùn)練模型，讓生成圖像更加自然，符合人類視覺感觀，但存在不易訓(xùn)練難以收斂的缺點(diǎn)。

圖像超分辨率在采用了CNN之后性能相比傳統(tǒng)方法而言得到了顯著的提升，然而由于基于CNN的方法一直在不斷的被改進(jìn)，網(wǎng)絡(luò)越來越復(fù)雜，網(wǎng)絡(luò)的層數(shù)越來越深，顯然計(jì)算成本也大幅度上升，昂貴的計(jì)算成本限制了它們的實(shí)際使用。

現(xiàn)如今的圖像超分辨率方法仍存在不足之處，首先方法都采用標(biāo)準(zhǔn)卷積實(shí)現(xiàn)，忽略了大量的空間具有差異性的特征，并且為了性能提升一直在加深加寬網(wǎng)絡(luò)，限制了方法的應(yīng)用場景，如何有效提升圖像超分性能同時(shí)不會(huì)增加參數(shù)量是目前需要解決的問題。

發(fā)明內(nèi)容

為至少一定程度上解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一，本發(fā)明的目的在于提供一種人體圖像超分辨率重建方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)。