[發明專利]一種基于深度學習的立體圖像修復方法

在審

• 申請號: 201910971537.5
• 申請日: 2019-10-12
• 公開（公告）號: CN110766623A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 馬偉;鄭瑪娜
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T15/00
• 代理公司: 11203 北京思海天達知識產權代理有限公司
• 代理人: 張慧

1.一種基于深度學習的立體圖像修復方法，其特征在于：包括以下模塊：

1)編碼器和解碼器模塊，給定一對立體圖像，通過編碼器和解碼器模塊得到相應特征矩陣；

2)融合模塊，用于對特征矩陣表達的左右圖進行處理使左右特征圖能夠充分融合；

3)鑒別器模塊，包括全局鑒別器和局部鑒別器，其中全局鑒別器鑒別修復完成整張圖的真假，局部鑒別器鑒別包含修復區域的局部區域的真假；

4)視差模塊，用于求取修復完成的立體圖像的視差圖，并用真值視差圖監督求取的視差圖；通過專用的視差損失函數來提高立體一致性；

采用本發明進行立體圖像修復的步驟如下：

S1.輸入一對標記修復區域A*A的立體圖像對，經過左右各自的編碼器得到左右視圖的特征圖；

S2.左右視圖的特征圖經特征融合模塊相互補充本視圖的特征圖，融合好的左右視圖特征圖分別經過各自的解碼模塊得到初步的左右完成圖；

S3.引入全局和局部鑒別器來增加細節信息，其中局部鑒別器鑒別的是包含修復區域的B*B的區域；

S4.將初步的左右完成圖輸入視差網絡得到視差圖，利用視差圖進一步約束左右完成圖，得到更加精細的左右視圖修復完成圖。

2.如權利要求1所述的一種基于深度學習的立體圖像修復方法，其特征在于：所述編碼器和解碼器模塊由編碼器和解碼器組成；編碼器通過卷積神經網絡實現特征提取，通過C層空洞卷積在相同計算能力和參數量的基礎上擴大感受野進一步特征凝練,接著通過D層卷積神經網絡獲取語義層次的特征表達，解碼器通過反卷積層實現特征圖的上采樣；編碼器進行兩次下采樣，解碼器進行兩次上采樣。

3.如權利要求1所述的一種基于深度學習的立體圖像修復方法，其特征在于：所述融合模塊利用E*E跨通道聚合的作用，先將提取的左右視圖的特征圖concat在一起，然后利用E*E卷積分別得到聚合后的左右特征圖。

4.如權利要求1所述的一種基于深度學習的立體圖像修復方法，其特征在于：所述鑒別器模塊主要包括全局鑒別器和局部鑒別器；全局鑒別器鑒別的是真值圖像和已經補全的立體圖像對整張圖的真假，局部鑒別器鑒別的是包含修復區域的部分區域，全局和局部鑒別器的聯合使用促使生成器產生更好的立體圖像修復結果；全局鑒別器鑒別的是A*A大小的RGB圖片，通過U層卷積核為K*K，步長為S*S的卷積加上全連接層之后得到P維的特征向量；局部鑒別器鑒別的是包含修復區域的B*B大小的RGB圖片，通過V層卷積核為K*K，步長為S*S的卷積加上全連接層之后得到P維的特征向量；全局鑒別器和局部鑒別器得到的兩個P維向量concat在一起得到Q維的特征向量，最后通過全連接層后用sigmoid激活函數使輸出的向量值域在0-1之間進行立體圖像修復效果的打分。

5.如權利要求1所述的一種基于深度學習的立體圖像修復方法，其特征在于：所述視差模塊采用PSMNet的網絡結構，立體圖像對首先經過兩個權重共享的卷積神經網絡提取各自的特征圖，然后經過金字塔模塊把全局上下文信息結合到特征圖中，再用卷積層進行特征融合；左右視圖的特征圖構成一個四維的匹配代價，最后通過3維卷積神經網絡來完成代價聚合和視差回歸；真值視差圖使用完整的立體圖像對輸入PSMNet得到。

6.如權利要求1-5所述的一種基于深度學習的立體圖像修復方法，其特征在于：本發明對所提出架構進行分任務訓練，先訓練立體圖像修復網絡，分三個過程進行訓練，使每個過程向目標作用優化，接著訓練視差網絡，最后將立體圖像修復和視差網絡聯合訓練。