[發明專利]圖像修補方法、設備及介質

在審

• 申請號: 202011307236.1
• 申請日: 2020-11-20
• 公開（公告）號: CN114549329A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 王藝偉;伊紅;劉麗艷;王煒
• 申請（專利權）人: 株式會社理光
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/223;G06T7/49;G06T7/90
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 安之斐

公開了圖像修補方法、設備及介質。所述方法包括：分別基于對于同一個空間拍攝得到的第一全景圖像和第二全景圖像，確定第一組三維布局圖和第二組三維布局圖，其中第一全景圖像和第二全景圖像的拍攝位置不同；在第一組三維布局圖中，確定目標對象所位于的一張圖像作為待修補圖像，并且在第二組三維布局圖中，確定目標對象所位于的一張圖像作為參考圖像，其中當拍攝第一全景圖像時目標對象在空間中的位置與當拍攝第二全景圖像時目標對象在空間中的位置不同；在參考圖像中，確定與待修補圖像中包含目標對象的區域匹配的、不包含目標對象的經匹配區域；以及通過以參考圖像中的經匹配區域替換待修補圖像中的包含目標圖像的區域，生成經修補圖像。

技術領域

本公開涉及計算機視覺的領域，更具體地說，涉及全景相機視覺的圖像修補領域。

背景技術

在全景視覺領域中，在拍攝得到的全景圖中，或者在基于全景圖轉換得到的三維布局圖(如，房屋的三維布局)中，常常會出現諸如用于拍攝全景圖的相機、意外進入的人等不應屬于所拍攝的三維空間的對象。然而，全景圖或三維布局圖中的這種對象的存在看起來非常突兀。因此，如何刪除全景圖或三維布局圖中的不期望存在的對象在是計算機視覺領域中引起了廣泛關注。目前現有的修補方法的問題在于，修補后的區域常常會丟失紋理，且運算量大。

發明內容

鑒于以上情形，期望提供能夠恢復細節紋理且處理過程輕量化的圖像修補方法、設備和介質。

根據本公開的一個方面，提供了一種圖像修補方法，包括：分別基于對于同一個空間拍攝得到的第一全景圖像和第二全景圖像，確定第一組三維布局圖和第二組三維布局圖，其中所述第一全景圖像和所述第二全景圖像的拍攝位置不同，所述第一組三維布局圖和所述第二組三維布局圖均包括能夠體現出所述空間的結構的多張圖像；在第一組三維布局圖中，確定目標對象所位于的一張圖像作為待修補圖像，并且在第二組三維布局圖中，確定所述目標對象所位于的一張圖像作為參考圖像，其中當拍攝所述第一全景圖像時所述目標對象在所述空間中的位置與當拍攝所述第二全景圖像時所述目標對象在所述空間中的位置不同；在所述參考圖像中，確定與所述待修補圖像中包含目標對象的區域匹配的、不包含所述目標對象的經匹配區域；以及通過以所述參考圖像中的經匹配區域替換所述待修補圖像中的包含所述目標圖像的區域，生成經修補圖像。

另外，在根據本公開實施例的方法中，在所述參考圖像中，確定與所述待修補圖像中包含目標對象的區域匹配的、不包含所述目標對象的經匹配區域，包括：確定所述目標對象在所述待修補圖像和所述參考圖像中的第一位置和第二位置；分別在所述待修補圖像和所述參考圖像中，確定包含所述第一位置和所述第二位置的重疊區域，作為第一匹配區域和第二匹配區域；在所述第一匹配區域與所述第二匹配區域之間進行特征點匹配，以確定變換矩陣；基于所述變換矩陣，將所述第二匹配區域變換為第三匹配區域；以及通過在所述第三匹配區域中，去除包含所述目標對象的區域，來生成所述經匹配區域。

另外，在根據本公開實施例的方法中，基于所述第一位置和所述第二位置，分別在所述待修補圖像和所述參考圖像中，確定包含所述第一位置和所述第二位置的重疊區域，作為第一匹配區域和第二匹配區域，包括：在所述待修補圖像中，標注所述第二位置，確定以所述第一位置為中心的第一區域和以所述第二位置為中心的第二區域，并將所述第一區域和所述第二區域的重疊區域作為所述第一匹配區域；以及在所述參考圖像中，標注所述第一位置，確定以所述第一位置為中心的第三區域和以所述第二位置為中心的第四區域，并將所述第三區域和所述第四區域的重疊區域作為所述第二匹配區域。

另外，在根據本公開實施例的方法中，確定以所述第一位置為中心的第一區域和以所述第二位置為中心的第二區域，包括：以所述第一位置為中心，以所述第一位置和所述第二位置的連線為對角線方向，且以所述第一位置和所述第二位置之間的距離與第一系數的乘積作為對角線長度的一半，繪制矩形作為所述第一區域；以及以所述第二位置為中心，以所述第一位置和所述第二位置的連線為對角線方向，且以所述第一位置和所述第二位置之間的距離與第二系數的乘積作為對角線長度的一半，繪制矩形作為所述第二區域。