[發明專利]基于多視角超分辨深度網絡的合成孔徑成像方法

有效

• 申請號: 202110684742.0
• 申請日: 2021-06-21
• 公開（公告）號: CN113538307B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 裴炤;廖心為;金敏;張艷寧;王淼;馬苗;武杰
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 西安永生專利代理有限責任公司 61201
• 代理人: 申忠才

1.一種基于多視角超分辨深度網絡的合成孔徑成像方法，其特征在于由以下步驟組成：

(1)構建深度網絡

深度網絡由2個并聯的特征提取模塊依次與特征時序插值模塊、可變形卷積長短期記憶模塊、圖像重建模塊串聯構成；

所述的特征提取模塊至少包括2個殘差塊、與殘差塊個數相同的卷積層、比殘差塊個數少于1個的采樣層連接構成，每1個殘差塊依次串連，每1個殘差塊的輸出分別通過每1個卷積層與對應的每1個采樣層的輸入相連，每1個采樣層依次串連后與特征時序插值模塊的輸入相連；最后1個殘差塊的輸出與最后1個卷積層的輸入相連，最后1個卷積層的輸出與特征時序插值模塊的輸入相連；

(2)獲取數據集

從Vimeo-90k數據集中選取的場景圖像分為訓練集、測試集，訓練集中的圖像幅數與測試集的圖像幅數比為9：1；

(3)訓練網絡

用訓練集訓練深度網絡，將訓練集中的場景圖像輸入特征提取模塊，通過特征提取模塊獲得提取特征圖，提取特征圖輸入特征時序插值模塊，通過特征時序插值模塊插值獲得插值特征圖，插值特征圖與提取特征圖輸入可變形卷積長短期記憶模塊獲得卷積特征圖，將卷積特征圖輸入圖像重建模塊，通過圖像重建模塊獲得重建圖像，完成前向傳播；設置深度網絡的損失函數loss：

式中，U_i表示第i幅真實圖像，G_i表示重建后的圖像，i∈[1,N]，||·||為一范數，α為常數，α取值為1×10^-5～1×10^-3，采用鏈式求導法迭代更新深度網絡各模塊卷積核權重，完成反向傳播，使損失函數loss值達到最小，優化深度網絡；

(4)采集并重建圖像

將相機陣列采集圖像輸入訓練后的深度網絡，獲得深度網絡輸出圖像F_t，t∈[1,N]；

(5)生成合成孔徑圖像

將深度網絡輸出圖像F_t按式(2)變換，得到變換后的第t幅仿射圖像W_t：

W_t＝H_j·F_t??????????????????????????????????????????????(2)

式中H_j為將輸入圖像變換到參考視角的第j個最優單映射變換矩陣，j為有限的正整數，將仿射圖像W_t按式(3)得到第t幅仿射圖像像素平移后的圖像P_t：

式中v為單位矩陣，θ^T為零向量的轉置，Δp為橫向視差d_x和縱向視差d_y構成的二維向量，按式(4)得到合成孔徑圖像中像素e的像素值Se：

式中P_m(q)為第m幅圖像中的像素q對應的像素值，m∈[1,N]，N是視角數量、為有限的正整數。

2.根據權利要求1所述的基于多視角超分辨深度網絡的合成孔徑成像方法，其特征在于：在(1)構建深度網絡步驟中，所述的特征提取模塊由4個串連的殘差塊、4個卷積層、3個采樣層連接構成：第一殘差塊依次與第二殘差塊、第三殘差塊、第四殘差塊串連，第一殘差塊的輸出通過第一卷積層與第一采樣層的輸入相連，第二殘差塊的輸出通過第二卷積層與第二采樣層的輸入相連，第三殘差塊的輸出通過第三卷積層與第三采樣層的輸入相連，第一采樣層依次與第二采樣層、第三采樣層串連后與特征時序插值模塊的輸入相連；第四殘差塊的輸出與第四卷積層的輸入相連，第四卷積層的輸出與特征時序插值模塊的輸入相連。

3.根據權利要求2所述的基于多視角超分辨深度網絡的合成孔徑成像方法，其特征在于在(1)構建深度網絡步驟中，所述的第一殘差塊為：第一殘差卷積層與第二殘差卷積層串連，第三殘差卷積層的輸入與第一殘差卷積層的輸入相連、輸出與第二殘差卷積層的輸出以及第一卷積層的輸入相連，第一殘差卷積層和第二殘差卷積層的尺寸為3×3，第三殘差卷積層的尺寸為1×1；所述的第二殘差塊、第三殘差塊、第四殘差塊的結構與第一殘差塊的結構相同。