[發明專利]基于多視角超分辨深度網絡的合成孔徑成像方法

有效

• 申請號: 202110684742.0
• 申請日: 2021-06-21
• 公開（公告）號: CN113538307B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 裴炤;廖心為;金敏;張艷寧;王淼;馬苗;武杰
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 西安永生專利代理有限責任公司 61201
• 代理人: 申忠才

一種基于基于多視角超分辨深度網絡的合成孔徑成像方法，由構建深度網絡、獲取數據集、訓練網絡、采集并重建圖像、生成合成孔徑圖像步驟組成，本發明采用特征提取模塊進行特征提取；采用特征時序插值模塊，根據提取特征圖獲得插值特征圖；采用可變形卷積長短期記憶模塊，根據插值特征圖獲得卷積特征圖；采用圖像重建模塊，根據卷積特征圖獲取重建后的圖像，將Vimeo?90k數據集劃分為訓練集和測試集，訓練集通過最小化損失函數訓練深度網絡，將相機陣列采集的圖像輸入訓練后的深度網絡，獲得深度網絡輸出圖像并合成，提高了合成圖像的質量。具有圖像處理時間短、運算速度快、結構相似性以及峰值信噪比高、合成的圖像質量好等優點，可用于合成孔徑成像。

技術領域

本發明屬于圖像處理技術領域，具體涉及到多視角超分辨深度網絡的合成孔徑成像方法。

背景技術

合成孔徑成像技術使用相機陣列來模擬大型虛擬凸透鏡，充分利用相機的多視角信息來獲得可以聚焦于圖像不同深度的能力。目前在許多研究中使用單相機自標定方法，應用在合成孔徑成像中，可以處理明顯遮擋。目前的研究中還使用一種基于視差的相機陣列標定方法，同樣應用于合成孔徑成像中，可以處理明顯遮擋。然而使用現有合成孔徑成像技術獲取的圖像質量仍然有待提升，并且在現實情況中無法依靠單一地增加相機數量或性能來提升最終的合成孔徑成像質量。另外在現有的超分辨方法中缺少對多尺度特征的關注，不利于對具有多尺度特征的圖像進行超分辨處理。

在圖像處理技術領域，當前需迫切解決的一個技術問題是對深度網絡的合成孔徑成像提供一種成像質量好的方法。

發明內容

本發明所要解決的技術問題在于克服上述技術的不足，提供一種合成速度快、圖像處理時間短、結構相似性以及峰值信噪比高、合成孔徑成像質量好的基于多視角超分辨深度網絡的合成孔徑成像方法。

解決上述技術問題所采用的技術方案是由以下步驟組成：

(1)構建深度網絡

深度網絡由2個并聯的特征提取模塊依次與特征時序插值模塊、可變形卷積長短期記憶模塊、圖像重建模塊串聯構成。

(2)獲取數據集

從Vimeo-90k數據集中選取的場景圖像分為訓練集、測試集，訓練集中的圖像幅數與測試集的圖像幅數比為9：1。

(3)訓練網絡

用訓練集訓練深度網絡，將訓練集中的場景圖像輸入特征提取模塊，通過特征提取模塊獲得提取特征圖，提取特征圖輸入特征時序插值模塊，通過特征時序插值模塊插值獲得插值特征圖，插值特征圖與提取特征圖輸入可變形卷積長短期記憶模塊獲得卷積特征圖，將卷積特征圖輸入圖像重建模塊，通過圖像重建模塊獲得重建圖像，完成前向傳播；設置深度網絡的損失函數loss：

式中，U_i表示第i幅真實圖像，G_i表示重建后的圖像，i∈[1,N]，||·||為一范數，α為常數，α取值為1×10^-5～1×10^-3，采用鏈式求導法迭代更新深度網絡各模塊卷積核權重，完成反向傳播，使損失函數loss值達到最小，優化深度網絡。

(4)采集并重建圖像

將相機陣列采集圖像輸入訓練后的深度網絡，獲得深度網絡輸出圖像F_t，t∈[1，N]。

(5)生成合成孔徑圖像

將深度網絡輸出圖像F_t按式(2)變換，得到變換后的第t幅仿射圖像W_t：

W_t＝H_t·F_t?????????????????????????????????????????????(2)