[發明專利]一種多尺度特征融合的圖像重建方法及系統

有效

• 申請號: 202211081419.5
• 申請日: 2022-09-06
• 公開（公告）號: CN115170916B
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 付章杰;何卓豪
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06T5/50
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.一種多尺度特征融合的圖像重建方法，其特征在于，包括：

對原圖像進行壓縮測量得到測量向量的方法包括：

將原圖像轉為灰度圖后進行區塊處理獲得圖像塊，將圖像塊進行旋轉和翻轉后構建圖像塊數據集；

對圖像塊數據集中的圖像塊進行采樣后，通過測量矩陣對圖像塊行壓縮測量得到測量向量，表達公式為：

公式中，??表示為測量矩陣；表示為第i個圖像塊；表示為第i個圖像塊對應的測量向量；

根據測量向量生成初始重建圖像的方法包括：

將測量向量轉化為初始重建圖像塊的表達公式為：

公式中，表示由全連接層組成的線性映射關系函數,表示為第i個圖像塊的權重；表示為第i個初始重建圖像塊；

將各初始重建圖像塊進行疊加生成初始重建圖像；

采用多個殘差模塊對初始重建圖像依次進行特征提取，獲得殘差特征集合E={E₁，E₂，…，E_n}的方法包括：

將初始重建圖像輸入至殘差模塊，對初始重建圖像分別進行3×3卷積和5×5卷積后進行相互連接，獲得疊加特征；將疊加特征進7×7卷積獲得殘差特征E₁；

重新采用殘差模塊對殘差特征E₁進行特征提取獲得殘差特征E₂，采用殘差模塊對殘差特征E₂進行特征提取獲得殘差特征E₃；構建殘差特征集合E={E₁，E₂，E₃}；

將殘差特征E_n輸入至多種尺度卷積核的密集模塊提取密集特征T₁的方法包括：

通過DensNet分別對殘差特征E_n進行3×3卷積后，使用1×1卷積降維獲得初始密集特征P₁；通過另一DensNet分別對殘差特征E_n進行5×5卷積后，使用1×1卷積降維獲得初始密集特征P₂；將初始密集特征P₁與初始密集特征P₂連接后依次進行1×1卷積和ReLU函數處理后獲得密集特征T₁；

采用注意力模塊將密集特征T₁和殘差特征E_n-1進行局部特征融合形成密集特征T₂的方法包括：

通過空間注意力對殘差特征E_n-1進行重要性加權生成殘差融合特征；通過通道注意力對密集特征T₁進行重要性加權生成密集融合特征；將殘差融合特征和密集融合特征執行Concat連接后依次進行1×1卷積和ReLU函數處理后獲得密集特征T₂；

重復迭代直至全局的殘差特征融合完成，獲得全局融合特征；計算全局融合特征的殘差后與初始重建圖像相加得到最終重建圖像；

其中，通過通道注意力對密集特征進行重要性加權生成密集融合特征的方法包括：

將第k次生成的密集特征重塑為密集特征，；C表示為密集特征的通道數量；H表示為密集特征的高度；W表示為密集特征的寬度；

計算密集特征在各通道之間的影響程度，計算公式為：

公式中，表示為第a個通道的密集特征對第b個通道的密集特征的影響程度；表示為第a個通道的密集特征；表示為第b個通道的密集特征；根據密集特征和影響程度計算得到尺寸為的密集融合特征，計算公式為：

公式中，表示為第b個通道的密集融合特征；表示為設定的比例參數；表示為第b個通道的密集特征；

其中，通過空間注意力對殘差特征進行重要性加權生成殘差融合特征的方法包括：

將第t次生成的殘差特征輸入至卷積函數生成映射特征、映射特征和映射特征；將映射特征、映射特征和映射特征分別重塑為映射特征、映射特征和映射特征；

將映射特征和映射特征進行矩陣計算，表示公式為：

公式中，表示為第c個位置的特征對第d個位置的特征的影響程度；表示為第c個位置的映射特征；表示為第d個位置的映射特征；

根據影響程度和映射特征計算得到尺寸為的殘差融合特征，計算公式為：

公式中，表示為第b個通道的殘差融合特征；表示為第c個位置的映射特征，表示為第d個位置的殘差特征；表示為設定的比例參數。