[發明專利]關鍵幀圖像的采集方法、裝置、系統和三維重建方法

在審

• 申請號: 202011291713.X
• 申請日: 2020-11-18
• 公開（公告）號: CN112348958A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 杜峰;嚴慶安;劉享軍;郭復勝
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/80
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 張雷

本公開涉及一種關鍵幀圖像的采集方法、裝置、系統和三維重建方法，涉及計算機技術領域。該采集方法包括：根據圖像獲取設備在當前拍攝位置獲取的目標物體的多幀深度圖像和圖像獲取設備的內部參數，確定目標物體的點云數據；根據目標物體的點云數據的位置信息、圖像獲取設備的內部參數和在當前拍攝位置的外部參數，建立能夠包圍目標物體的三維模型，三維模型的表面被劃分為多個網格，每一個網格對應一個拍攝位置；根據各拍攝位置對應的網格、在各拍攝位置獲取的多幀深度圖像的拍攝位置和拍攝方向，在各拍攝位置的多幀深度圖像中確定目標物體在相應的拍攝位置的關鍵幀圖像。

技術領域

本公開涉及計算機技術領域，特別涉及一種關鍵幀圖像的采集方法、關鍵幀圖像的采集裝置、關鍵幀圖像的采集系統、關鍵幀圖像的三維重建方法、關鍵幀圖像的三維重建裝置和非易失性計算機可讀存儲介質。

背景技術

三維重建技術是計算機圖像學和計算機視覺領域的一個研究熱點。在消費級的深度相機出現之前，三維重建的輸入數據通常只有RGB(Red Green Blue，紅綠藍)圖像?；谝幌盗胁煌嵌扰臄z的RGB圖像，通過立體視覺算法恢復出物體的三維模型。這些RGB圖像就是三維重建依賴的關鍵幀。為了準確完整地重建出物體的3D模型，關鍵幀覆蓋的角度必須要全，且關鍵幀也不能太模糊。

隨著各種消費級深度攝像頭的出現，基于深度相機的三維重建技術得到了快速發展。借助深度相機采集的深度圖像，可以快速恢復出物體的三維模型。為了還原三維模型的真實感，還需要通過紋理映射還原物體的真實紋理。紋理映射依賴于一系列覆蓋三維模型各個角度的關鍵幀。

因此，不管采用哪種三維重建技術，要想獲得高質量的三維模型，覆蓋角度全面且足夠清晰的關鍵幀是必不可少的。

在相關技術中，可以根據各幀圖像的時間間隔和模糊程度進行時間采樣，以選取各角度關鍵幀圖像；也可以圍繞目標物體架設多臺相機，以獲取各角度的關鍵幀圖像。

發明內容

本公開的發明人發現上述相關技術中存在如下問題：關鍵幀圖像覆蓋的拍攝角度不全面，導致關鍵幀圖像采集的質量下降；或者獲取完整角度的關鍵幀圖像的成本過高。

鑒于此，本公開提出了一種關鍵幀圖像的采集技術方案，在不增加成本的情況下，能夠采集完整拍攝角度的關鍵幀圖像，從而提高關鍵幀圖像的采集質量。

根據本公開的一些實施例，提供了一種關鍵幀圖像的采集方法，包括：根據圖像獲取設備在當前拍攝位置獲取的目標物體的多幀深度圖像和圖像獲取設備的內部參數，確定目標物體的點云數據；根據目標物體的點云數據的位置信息、圖像獲取設備的內部參數和在當前拍攝位置的外部參數，建立能夠包圍目標物體的三維模型，三維模型的表面被劃分為多個網格，每一個網格對應一個拍攝位置；根據各拍攝位置對應的網格、在各拍攝位置獲取的多幀深度圖像的拍攝位置和拍攝方向，在各拍攝位置的多幀深度圖像中確定目標物體在相應的拍攝位置的關鍵幀圖像。

在一些實施例中，建立能夠包圍目標物體的三維模型包括：根據圖像獲取設備的內部參數，計算三維模型從三維坐標系到二維坐標系的投影矩陣；根據投影矩陣、各網格的頂點的位置信息、圖像獲取設備在各網格對應的拍攝位置的外部參數，建立三維模型。

在一些實施例中，建立能夠包圍目標物體的三維模型包括：根據目標物體的點云數據進行平面擬合，確定目標物體所在的平面；根據目標物體在平面上的位置，建立三維模型。

在一些實施例中，根據目標物體在平面模型上的位置，建立三維模型包括：根據目標物體在平面模型上的位置，確定圓心位置；根據圓心位置，在平面模型上建立三維半球模型作為三維模型。