[發明專利]神經網絡訓練方法、圖像融合方法、裝置、設備和介質

有效

• 申請號: 202010986245.1
• 申請日: 2020-09-18
• 公開（公告）號: CN112184550B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 鄧欣;張雨童;徐邁;段一平;關振宇;李大偉
• 申請（專利權）人: 北京航空航天大學;清華大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 阮改燕

1.一種用于多曝光圖像融合的神經網絡訓練方法，其特征在于，所述神經網絡包括網絡結構相同的第一子網絡和第二子網絡，且任一子網絡中包含初級特征提取模塊、高層特征提取模塊和耦合反饋模塊；所述方法包括：

獲取一張欠曝低分辨率圖像和一張過曝低分辨率圖像；

將所述欠曝低分辨率圖像和所述過曝低分辨率圖像，分別輸入所述第一子網絡和所述第二子網絡中的所述初級特征提取模塊，生成欠曝低層次特征和過曝低層次特征；

將所述欠曝低層次特征和所述過曝低層次特征，分別輸入所述第一子網絡和所述第二子網絡中的所述高層特征提取模塊，生成欠曝高層次特征和過曝高層次特征；

將所述欠曝低層次特征、所述欠曝高層次特征和所述過曝高層次特征，輸入所述第一子網絡中的所述耦合反饋模塊，生成所述第一子網絡對應的耦合反饋結果；

將所述過曝低層次特征、所述過曝高層次特征和所述欠曝高層次特征，輸入所述第二子網絡中的所述耦合反饋模塊，生成所述第二子網絡對應的耦合反饋結果；

基于所述欠曝低分辨率圖像、所述欠曝高層次特征和所述第一子網絡對應的耦合反饋結果，以及所述過曝低分辨率圖像、所述過曝高層次特征和所述第二子網絡對應的耦合反饋結果，調整所述神經網絡的參數。

2.根據權利要求1所述的方法，其特征在于，所述神經網絡包含多個所述耦合反饋模塊，且各所述耦合反饋模塊不共享模型參數。

3.根據權利要求2所述的方法，其特征在于，各所述耦合反饋模塊串行處理；

所述將所述欠曝低層次特征、所述欠曝高層次特征和所述過曝高層次特征，輸入所述第一子網絡中的所述耦合反饋模塊，生成所述第一子網絡對應的耦合反饋結果包括：

將所述欠曝低層次特征、所述欠曝高層次特征和所述過曝高層次特征，輸入所述第一子網絡中的第一個耦合反饋模塊，生成所述第一子網絡對應的耦合反饋結果；

針對所述第一子網絡中除了所述第一個耦合反饋模塊之外的任一個后續耦合反饋模塊，將所述欠曝低層次特征、該后續耦合反饋模塊的前一相鄰耦合反饋模塊的耦合反饋結果、以及所述第二子網絡中與該前一相鄰耦合反饋模塊對應的耦合反饋模塊的耦合反饋結果，輸入該后續耦合反饋模塊，生成所述第一子網絡對應的耦合反饋結果；

所述將所述過曝低層次特征、所述過曝高層次特征和所述欠曝高層次特征，輸入所述第二子網絡中的所述耦合反饋模塊，生成所述第二子網絡對應的耦合反饋結果包括：

將所述過曝低層次特征、所述過曝高層次特征和所述欠曝高層次特征，輸入所述第二子網絡中的第一個耦合反饋模塊，生成所述第二子網絡對應的耦合反饋結果；

針對所述第二子網絡中除了所述第一個耦合反饋模塊之外的任一個后續耦合反饋模塊，將所述過曝低層次特征、該后續耦合反饋模塊的前一相鄰耦合反饋模塊的耦合反饋結果、以及所述第一子網絡中與該前一相鄰耦合反饋模塊對應的耦合反饋模塊的耦合反饋結果，輸入該后續耦合反饋模塊，生成所述第二子網絡對應的耦合反饋結果。

4.根據權利要求1至3任一項所述的方法，其特征在于，所述耦合反饋模塊中包含至少兩個聯結子模塊和至少兩個特征映射組，其中，每個所述特征映射組包含一個濾波器、一個反卷積層和一個卷積層；

第一個所述聯結子模塊位于各所述特征映射組之前；

除了第一個所述聯結子模塊外的任一其他聯結子模塊位于任意兩個相鄰的所述特征映射組之間，且任意兩個所述其他聯結子模塊位于不同位置。