[發明專利]一種無監督立體圖像重定向方法

有效

• 申請號: 202011528334.8
• 申請日: 2020-12-22
• 公開（公告）號: CN112634127B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 雷建軍;范曉婷;張哲;彭勃
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種無監督立體圖像重定向方法，所述方法包括：利用多級注意力生成模塊獲取立體圖像的注意力圖；利用左右圖像之間的視點間的相關性，構建視點合成損失；利用立體圖像在重定向前后的一致性，構建立體循環一致性損失；基于視點合成損失、立體循環一致性損失構建總損失函數，通過總損失函數對無監督立體圖像重定向進行訓練，獲得重定向后的立體圖像。本發明利用無監督深度學習方式，采用多級注意力生成模塊提取高層特征，提取顯著區域的信息，并利用無監督視點合成損失和立體循環一致性損失，保證立體圖像的幾何結構和深度信息，實現立體圖像重定向。

技術領域

本發明涉及圖像處理、立體視覺技術領域，尤其涉及一種無監督立體圖像重定向方法。

背景技術

立體圖像能夠提供沉浸式的視覺體驗，受到工業界和學術界的廣泛關注。隨著不同立體顯示設備的增長，需要在不同分辨率和目標縱橫比的設備上顯示立體圖像和視頻。立體圖像重定向技術旨在智能地處理顯示設備的多媒體內容，使其適應不同尺寸的屏幕，可以廣泛應用于虛擬現實、人機交互等領域。

目前，2D圖像重定向方法分為離散方法和連續方法。離散方法是通過去除或插入對圖像貢獻最小能量的像素以改變原始大小。但是，該方法往往會引起顯著內容出現不連續偽影，導致視覺失真。相比之下，連續方法通過計算最優的非均勻網格變形實現圖像縮放，該方法使用四邊形網格或三角形網格來保持顯著區域。然而，連續方法可能會導致顯著性區域的變形。近年來，基于深度學習的2D圖像重定向算法得到了發展。例如，Cho等人提出了一種基于深度卷積神經網絡的圖像重定向方法，該方法利用編解碼器模型學習注意力圖，并設計基于內容感知的偏移層變形圖像。Lin等人提出了一個從粗到細的圖像重定向框架，并在每個卷積層上利用均勻重采樣將特征圖重定向到目標大小。現有的基于深度學習的2D圖像重定向模型表明，深度學習在理解圖像顯著性內容和提取感興趣區域方面具有良好的性能。

與傳統2D圖像重定向相比，立體圖像重定向不僅需要避免圖像內容和形狀失真，而且需要保證立體圖像的視差一致性。立體圖像重定向同樣分為兩類，即離散方法和連續方法。離散方法通過一致地去除左右圖像中均勻區域的接縫，處理立體圖像重定向問題。例如，Utsugi等人和Basha等人通過引入深度約束將2D圖像的Seam-carving算法擴展到立體圖像重定向任務中。而連續方法則是通過優化立體圖像中的變形網格，實現圖像縮放。Chang等人將立體圖像重定向定義為能量最小化問題，并通過網格變形場中的稀疏立體對應關系處理左右圖像變形。

發明人在實現本發明的過程中，發現現有技術中至少存在以下缺點和不足：

現有技術中的方法利用2D圖像重定向技術處理立體圖像，忽略了立體圖像的視差信息，會導致顯著區域變形不一致，進一步削弱3D場景的深度感知；現有的基于離散的立體圖像重定向方法可能導致立體圖像的形狀和內容失真，而基于連續的立體圖像重定向方法通常會導致立體圖像的視差失真。

發明內容

本發明提供了一種無監督立體圖像重定向方法，本發明利用無監督深度學習方式，采用多級注意力生成模塊提取高層特征，提取顯著區域的信息，并利用無監督視點合成損失和立體循環一致性損失，保證立體圖像的幾何結構和深度信息，實現立體圖像重定向，詳見下文描述：

一種無監督立體圖像重定向方法，所述方法包括以下步驟：

利用多級注意力生成模塊獲取立體圖像的注意力圖；

利用左右圖像之間的視點間的相關性，構建視點合成損失；

利用立體圖像在重定向前后的一致性，構建立體循環一致性損失；

基于視點合成損失、立體循環一致性損失構建總損失函數，通過總損失函數對無監督立體圖像重定向進行訓練，獲得重定向后的立體圖像。

其中，視點合成損失，用于促進生成具有精確的視點間關系的高質量目標立體圖像；立體循環一致性損失，用于鼓勵重建圖像的顯著信息和視差關系與對應的原始圖像相似。