[發(fā)明專利]一種多尺度特征融合的圖像重建方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202211081419.5
• 申請日: 2022-09-06
• 公開（公告）號: CN115170916B
• 公開（公告）日: 2023-01-31
• 發(fā)明（設(shè)計）人: 付章杰;何卓豪
• 申請（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06T5/50
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 董建林

本發(fā)明公開了圖像重建領(lǐng)域的一種多尺度特征融合的圖像重建方法及系統(tǒng)，包括：對原圖像進行壓縮測量得到測量向量；根據(jù)測量向量生成初始重建圖像；采用多個殘差模塊對初始重建圖像依次進行特征提取，獲得殘差特征集合；將殘差特征E_n輸入至多種尺度卷積核的密集模塊提取密集特征T₁；采用注意力模塊將密集特征T₁和殘差特征E_n?1進行局部特征融合形成密集特征T₂；重復(fù)迭代直至全局的殘差特征融合完成，獲得全局融合特征；計算全局融合特征的殘差后與初始重建圖像相加得到最終重建圖像；本發(fā)明提升了圖像重建質(zhì)量并減少網(wǎng)絡(luò)的計算量。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像重建領(lǐng)域，具體涉及圖像壓縮感知重建方法及系統(tǒng)。

背景技術(shù)

圖像壓縮感知重建技術(shù)是一種將圖像壓縮然后再恢復(fù)的方法。在信息傳輸中，壓縮對于傳輸有著至關(guān)重要的重用，相較于奈奎斯特采樣，壓縮感知對采樣條件要求更低，它的特殊采樣方式打破了奈奎斯特采樣定律的限制，擁有更高的計算效率。近年來，在壓縮與解壓縮運算量激增的大數(shù)據(jù)時代背景下，壓縮感知受到學(xué)術(shù)界與業(yè)界的廣泛關(guān)注。傳統(tǒng)的圖像壓縮感知重建算法中，在較低采樣率下的圖像恢復(fù)質(zhì)量較差，重建圖像如何得到更好重建精度，并減少空間占用，成為相關(guān)安全部門的迫切需求。

近年來，隨著基于深度學(xué)習(xí)的圖像壓縮感知重建技術(shù)的算法出現(xiàn)，通過卷積網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)或注意力網(wǎng)絡(luò)來提升圖像的重建質(zhì)量，這在恢復(fù)圖像中的紋理復(fù)雜區(qū)域提供了極大的幫助。但是現(xiàn)有的算法為了盡可能的提高圖像的重建精度，提升網(wǎng)絡(luò)深度導(dǎo)致模型訓(xùn)練時間偏長。而且大多數(shù)網(wǎng)絡(luò)在特征融合階段對局部特征的學(xué)習(xí)效率低下，對紋理復(fù)雜區(qū)域的學(xué)習(xí)效果不明顯。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種多尺度特征融合的圖像重建方法及系統(tǒng)，提升圖像重建質(zhì)量并減少網(wǎng)絡(luò)的計算量。

為達到上述目的，本發(fā)明所采用的技術(shù)方案是：

本發(fā)明第一方面提供了一種多尺度特征融合的圖像重建方法，包括：

對原圖像進行壓縮測量得到測量向量；根據(jù)測量向量生成初始重建圖像；

采用多個殘差模塊對初始重建圖像依次進行特征提取，獲得殘差特征集合E={E₁，E₂，…，E_n}；將殘差特征E_n輸入至多種尺度卷積核的密集模塊提取密集特征T₁；

采用注意力模塊將密集特征T₁和殘差特征E_n-1進行局部特征融合形成密集特征T₂；重復(fù)迭代直至全局的殘差特征融合完成，獲得全局融合特征；

計算全局融合特征的殘差后與初始重建圖像相加得到最終重建圖像。

優(yōu)選的，對原圖像進行壓縮測量得到測量向量的方法包括：

將原圖像轉(zhuǎn)為灰度圖后進行區(qū)塊處理獲得圖像塊，將圖像塊進行旋轉(zhuǎn)和翻轉(zhuǎn)后構(gòu)建圖像塊數(shù)據(jù)集；

對圖像塊數(shù)據(jù)集中的圖像塊進行采樣后，通過測量矩陣對圖像塊行壓縮測量得到測量向量，表達公式為：

公式中，??表示為測量矩陣；表示為第i個圖像塊；表示為第i個圖像塊對應(yīng)的測量向量。

優(yōu)選的，根據(jù)測量向量生成初始重建圖像的方法包括：

將測量向量轉(zhuǎn)化為初始重建圖像塊的表達公式為：

公式中，表示由全連接層組成的線性映射關(guān)系函數(shù)，表示為第i個圖像塊的權(quán)重；表示為第i個初始重建圖像塊；

將各初始重建圖像塊進行疊加生成初始重建圖像。