[發明專利]基于單張圖像構建三維網格的方法、裝置和系統

有效

• 申請號: 201910543756.3
• 申請日: 2019-06-21
• 公開（公告）號: CN110415351B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 楊駿鋒;范浩強
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

本發明提供一種基于單張圖像構建三維網格的方法、裝置和系統。該方法包括：確定輸入圖像對應的深度圖像中存在遮擋的位置；以及在所述存在遮擋的位置處斷開前景和背景之間的面片連接關系，并針對所述存在遮擋的位置處的背景部分構建網格。根據本發明實施例的基于單張圖像構建三維網格的方法、裝置和系統將圖像中存在遮擋的位置處的原始面片連接關系斷開，并針對被遮擋部分構建網格，可以有效去除明顯的拉伸效應，改善視覺效果。

技術領域

本發明涉及圖像處理技術領域，更具體地涉及一種基于單張圖像構建三維網格的方法、裝置、系統和存儲介質。

背景技術

三維(3D)相冊是指拍攝單張圖像，把它變成三維圖像。例如在手機上重建出三維場景，模擬相機在不同位置(例如相對于拍攝時位置的上下左右前后位置)、不同角度拍攝該場景獲得的圖像。該技術可增強照片的表現力，也可用于虛擬現實行業中。

目前現有技術中，通過單張圖像構建三維網格(mesh)的時候，在不同物體的分界處，沒有考慮遮擋關系，導致渲染出來的圖像在分界處會有明顯的拉伸效應，視覺效果差；或者，只簡單的構建雙層網格，在多個不同深度分界處的位置會出現三角面片缺失的問題；此外，該種方法會產生許多無用的三角面片，導致其構建的網格較為龐大。

發明內容

為了解決上述問題中的至少一個而提出了本發明。本發明提出了一種基于單張圖像構建三維網格的方案，其將圖像中存在遮擋的位置處的原始面片連接關系斷開，并針對被遮擋部分構建網格，可以有效去除明顯的拉伸效應，改善視覺效果。下面簡要描述本發明提出的基于單張圖像構建三維網格的方案，更多細節將在后續結合附圖在具體實施方式中加以描述。

根據本發明一方面，提供了一種基于單張圖像構建三維網格的方法，所述方法包括：確定輸入圖像對應的深度圖像中存在遮擋的位置；以及在所述存在遮擋的位置處斷開前景和背景之間的面片連接關系，并針對所述存在遮擋的位置處的背景部分構建網格。

在本發明的一個實施例中，所述針對所述存在遮擋的位置處的背景部分構建網格包括：在針對所述存在遮擋的位置處的背景部分構建面片時，每當需被構建面片的位置已被占據時則新建一層網格以用于構建面片。

在本發明的一個實施例中，所述方法還包括：在針對所述存在遮擋的位置處的背景部分構建面片之前，確定被遮擋部分需要構建面片的最大值。

在本發明的一個實施例中，所述確定輸入圖像對應的深度圖像中存在遮擋的位置包括：針對所述深度圖像中的每一個像素點，計算所述像素點與其相鄰像素點之間的深度差；以及如果所述像素點與其任一相鄰像素點之間的深度差大于預設閾值，則確定所述像素點在往所述任一相鄰像素點的方向存在遮擋。

在本發明的一個實施例中，所述像素點的相鄰像素點包括所述像素點的上下左右四個方向的相鄰像素點。

在本發明的一個實施例中，所述在所述存在遮擋的位置處斷開前景和背景之間的面片連接關系，并針對所述存在遮擋的位置處的背景部分構建網格包括：斷開所述像素點與所述任一相鄰像素點之間的面片連接關系，并在所述像素點往所述任一相鄰像素點的方向擴展頂點以構建網格，直到所述像素點往所述任一相鄰像素點的方向不再存在遮擋。

在本發明的一個實施例中，在所述像素點往所述任一相鄰像素點的方向擴展頂點包括：每往所述方向擴展一個頂點，確定所述頂點是否能與所述頂點相鄰的像素點連接或確定是否已經達到所述方向的最大擴展邊界；如果確定所述頂點能與所述頂點相鄰的像素點連接或確定已經達到所述方向的最大擴展邊界，則所述方向擴展結束，如此迭代，直到每個像素點的所有存在遮擋的方向均擴展結束。

在本發明的一個實施例中，所述在所述像素點往所述任一相鄰像素點的方向擴展頂點還包括：在每往所述方向擴展一個頂點之前，確定要被擴展頂點的位置是否已被其他點占據，如果已被占據，則新建一層網格進行頂點擴展。