[發明專利]一種基于深度學習的自適應視點融合方法及系統

有效

• 申請號: 202110698713.X
• 申請日: 2021-06-23
• 公開（公告）號: CN113450274B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 李帥;王開心;高艷博;元輝;蔡珣
• 申請（專利權）人: 山東大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/55;G06T17/20;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

1.一種基于深度學習的自適應視點融合方法，其特征在于，包括：

獲取左參考視點深度圖和彩色圖、右參考視點深度圖和彩色圖；

將左參考視點深度圖和彩色圖、右參考視點深度圖和彩色圖分別經過三維映射，獲得左合成圖像、右合成圖像、左幾何位置偏差、右幾何位置偏差和合成深度圖，其中，通過左參考視點深度圖獲得左幾何位置偏差，通過右參考視點深度圖獲得右幾何位置偏差，通過參考視點深度圖獲得相應幾何位置偏差的具體過程為：將參考視點深度圖代入三維映射公式中，獲得參考視點深度圖在合成圖像的精確投影位置坐標，對精確投影位置坐標進行取整，獲取取整后映射坐標，通過精確投影位置坐標和取整后映射坐標，獲得幾何位置偏差信息；

用左合成圖像的信息填補右合成圖像的空洞，獲取校正后右合成圖像，用右合成圖像的信息填補左合成圖像的空洞，獲取校正后左合成圖像；

將校正后右合成圖像、校正后左合成圖像、左幾何位置偏差、右幾何位置偏差和合成深度圖輸入訓練好的神經網絡模型中，獲得合成彩色圖。

2.如權利要求1所述的一種基于深度學習的自適應視點融合方法，其特征在于，根據參考視點深度圖、參考視點相機投影矩陣、合成視點相機投影矩陣計算出參考視點到合成視點的精確投影位置坐標，對精確投影位置坐標進行取整，獲取取整后映射坐標，根據取整后映射坐標和參考視點彩色圖獲得合成圖像。

3.如權利要求1所述的一種基于深度學習的自適應視點融合方法，其特征在于，通過邏輯融合操作，用左合成圖像的信息填補右合成圖像的空洞，獲取校正后右合成圖像，用右合成圖像的信息填補左合成圖像的空洞，獲取校正后左合成圖像。

4.如權利要求1所述的一種基于深度學習的自適應視點融合方法，其特征在于，將校正后右合成圖像、校正后左合成圖像輸入訓練好的神經網絡模型前，分別進行中值濾波和閉運算，獲得初始空洞填充后右合成圖像和初始空洞填充后左合成圖像，將初始空洞填充后右合成圖像和初始空洞填充后左合成圖像輸入訓練好的神經網絡模型中。

5.如權利要求1所述的一種基于深度學習的自適應視點融合方法，其特征在于，神經網絡模型采用UNet網絡，UNet網絡中使用殘差網絡模型的結構。

6.如權利要求1所述的一種基于深度學習的自適應視點融合方法，其特征在于，采用梯度下降法對神經網絡模型進行訓練，獲得訓練后的神經網絡模型。

7.一種基于深度學習的自適應視點融合系統，其特征在于，包括：

參考視圖獲取模塊，用于獲取左參考視點深度圖和彩色圖、右參考視點深度圖和彩色圖；

合成圖像及位置偏差獲取模塊，用于將左參考視點深度圖和彩色圖、右參考視點深度圖和彩色圖分別經過三維映射，獲得左合成圖像、右合成圖像、左幾何位置偏差、右幾何位置偏差和合成深度圖，其中，通過左參考視點深度圖獲得左幾何位置偏差，通過右參考視點深度圖獲得右幾何位置偏差，通過參考視點深度圖獲得相應幾何位置偏差的具體過程為：將參考視點深度圖代入三維映射公式中，獲得參考視點深度圖在合成圖像的精確投影位置坐標，對精確投影位置坐標進行取整，獲取取整后映射坐標，通過精確投影位置坐標和取整后映射坐標，獲得幾何位置偏差信息；

校正圖像獲取模塊，用于用左合成圖像的信息填補右合成圖像的空洞，獲取校正后右合成圖像，用右合成圖像的信息填補左合成圖像的空洞，獲取校正后左合成圖像；

合成彩色圖像獲取模塊，用于將校正后右合成圖像、校正后左合成圖像、左幾何位置偏差、右幾何位置偏差和合成深度圖輸入訓練好的神經網絡模型中，獲得合成彩色圖。

8.一種電子設備，其特征在于，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成權利要求1-6任一項所述的一種基于深度學習的自適應視點融合方法的步驟。

9.一種計算機可讀存儲介質，其特征在于，用于存儲計算機指令，所述計算機指令被處理器執行時，完成權利要求1-6任一項所述的一種基于深度學習的自適應視點融合方法的步驟。