[發(fā)明專利]基于多尺度殘差金字塔注意力網(wǎng)絡模型的單目圖像深度估計方法

有效

• 申請?zhí)枺?/td>: 202010865812.8
• 申請日: 2020-08-25
• 公開（公告）號: CN112001960B
• 公開（公告）日: 2022-09-30
• 發(fā)明（設計）人: 張丹;劉京;余義德;張志偉;時光;孫杰;夏光輝;王紅萍
• 申請（專利權）人: 中國人民解放軍91550部隊
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06V10/80;G06N3/04;G06N3/08;G06T7/40
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 侯力

1.一種基于多尺度殘差金字塔注意力網(wǎng)絡模型的單目圖像深度估計方法，其特征在于，該方法涉及的網(wǎng)絡模型包括由SENet模塊和MFF+MACA模塊構成的用于自適應聚合全局上下文信息的編碼器部分Encoder以及估計復雜場景結構的殘差金字塔解碼器部分RRM-Decoder兩部分，編碼器部分得到殘差深度圖和預測深度圖，經(jīng)過解碼器部分處理得到最終的精細深度圖，該方法操作步驟包括：

第1步、獲得待估計圖像；

第2步、由編碼器部分中的SENet模塊提取圖像中包含位置信息的低級特征；

第3步、編碼器部分中的MFF+MACA模塊由一個多尺度注意力上下文聚合模塊(MACA)和用于將不同尺度提取的特征合并為一個尺度上的信息的四個多尺度特征融合模塊(MFF)組成，MFF+MACA模塊自適應聚合圖像的全局上下文信息；MACA模塊提取的特征通過預測得到預測深度圖，四個MFF模塊通過預測得到四個殘差深度圖；

第4步、對第3步得到的預測深度圖進行雙線性插值上采樣操作，得到上采樣深度圖；

第5步、采用RRM-Decoder部分對第3步得到的殘差深度圖和第4步得到的上采樣深度圖進行處理和融合，得到最終的深度圖。

2.根據(jù)權利要求1所述的基于多尺度殘差金字塔注意力網(wǎng)絡模型的單目圖像深度估計方法，其特征在于，所述第3步中的MACA模塊包括：空間注意力子模塊(Spatial AttentionModule，SAM)和全局注意力子模塊(GlobalAttention Module，GAM)。

3.根據(jù)權利要求1所述的基于多尺度殘差金字塔注意力網(wǎng)絡模型的單目圖像深度估計方法，其特征在于，四個多尺度特征融合模塊MFF分別用于將不同尺度提取的特征合并為一個尺度上的信息，聚合所有特征中的尺度特征，作為每一個尺度預測融合特征圖。

4.根據(jù)權利要求2所述的基于多尺度殘差金字塔注意力網(wǎng)絡模型的單目圖像深度估計方法，其特征在于，多尺度注意力上下文聚合模塊MACA聚合全局上下文信息，其中的SAM子模塊將SENet提取的低級特征進行Conv3×3處理后，通過從空間考慮像素的位置相關性，捕獲特征的空間上下文信息，與經(jīng)過GAM子模塊處理后的特征進行Sum fusion處理，最后經(jīng)過Conv3×3處理得到包含全局上下文信息的特征。

5.根據(jù)權利要求1所述的基于多尺度殘差金字塔注意力網(wǎng)絡模型的單目圖像深度估計方法 ，其特征在于，所述第5步中的估計復雜場景結構的殘差金字塔解碼器部分RRM-Decoder包括四個增強的殘差細化模塊RRM，四個RRM用于將經(jīng)過MACA模塊提取的包含全局上下文信息的特征上采樣得到的深度圖和經(jīng)過MFF模塊提取的包含多尺度特征預測得到的殘差深度圖通過RRM進行處理和融合，得到當前尺度下的精細深度圖。