[發明專利]模型重建方法、裝置、終端設備及計算機可讀存儲介質

在審

• 申請號: 202210669083.8
• 申請日: 2022-06-14
• 公開（公告）號: CN115205448A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 李奕潤;龐建新
• 申請（專利權）人: 深圳市優必選科技股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/50;G06T7/11
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 邊珺

本申請適用于圖像處理技術領域，提供了一種模型重建方法、裝置、終端設備及計算機可讀存儲介質，包括：根據目標物體的第一深度圖提取所述目標物體的拍攝視頻中的關鍵幀以及所述關鍵幀上的特征點；根據所述關鍵幀上的特征點重新估計所述關鍵幀中所述目標物體的第二深度圖；根據所述第二深度圖生成所述關鍵幀中所述目標物體的第一點云模型。通過上述方法，可以有效提高重建模型尺度的精度，進而提高物體位姿估計的準確度。

技術領域

本申請屬于圖像處理技術領域，尤其涉及一種模型重建方法、裝置、終端設備及計算機可讀存儲介質。

背景技術

在機器人抓取物體的過程中，首先需要估計要抓取的目標物體的位姿，然后機器人根據目標物體的位姿確定機械臂抓取時的姿態和抓取點。目前，估計目標物體的位姿的方法中，需要先對要目標物體進行三維重建，得到目標物體的三維模型，再根據三維模型計算目標物體的位姿。因此，重建出的三維模型的尺度是影響位姿估計準確度的關鍵因素。

現有技術中，通常利用深度相機獲取目標物體的深度信息，利用該深度信息進行三維重建。但是，該深度信息中容易混有噪聲，這將會影響重建出的三維模型尺度的精確度，進而影響位姿估計的準確度。

發明內容

本申請實施例提供了一種模型重建方法、裝置、終端設備及計算機可讀存儲介質，可以有效提高重建模型尺度的精度，進而提高物體位姿估計的準確度。

第一方面，本申請實施例提供了一種模型重建方法，包括：

根據目標物體的第一深度圖提取所述目標物體的拍攝視頻中的關鍵幀以及所述關鍵幀上的特征點；

根據所述關鍵幀上的特征點重新估計所述關鍵幀中所述目標物體的第二深度圖；

根據所述第二深度圖生成所述關鍵幀中所述目標物體的第一點云模型。

本申請實施例中，利用目標物體的第一深度圖提取關鍵幀以及關鍵幀上的特征點，再根據提取出的關鍵幀上的特征點重新估計目標物體的第二深度圖，相當于利用深度相機獲取到的目標物體的初始深度信息重新進行深度圖的估計。通過上述方法，可以有效減少深度相機獲取目標物體的深度信息中的噪聲，提高了重建模型尺度的精確度，進而提高了目標物體位姿估計的準確度。

在第一方面的一種可能的實現方式中，所述根據目標物體的第一深度圖提取所述目標物體的拍攝視頻中的關鍵幀以及所述關鍵幀上的特征點，包括：

將所述第一深度圖和所述拍攝視頻輸入第一模型，獲得所述關鍵幀以及所述關鍵幀上的特征點，其中，所述第一模型用于對輸入數據進行即時定位與地圖構建處理。

在第一方面的一種可能的實現方式中，所述根據所述關鍵幀上的特征點重新估計所述關鍵幀中所述目標物體的第二深度圖，包括：

根據所述關鍵幀上的特征點構建德勞內三角；

根據所述德勞內三角生成第三深度圖；

對所述第三深度圖進行優化處理，獲得所述第二深度圖。

在第一方面的一種可能的實現方式中，所述對所述第三深度圖進行優化處理，獲得所述第二深度圖，包括：

計算預設的目標函數的最小值，其中，所述目標函數用于表示實際像素坐標和估計像素坐標之間的誤差，所述實際像素坐標為所述關鍵幀中像素點的像素坐標，所述估計像素坐標根據所述第三深度圖計算得到；

根據所述目標函數的最小值對應的深度值生成所述第二深度圖。

在第一方面的一種可能的實現方式中，所述根據所述第二深度圖生成所述關鍵幀中所述目標物體的第一點云模型，包括：

對所述關鍵幀進行圖像分割處理，獲得所述關鍵幀中所述目標物體的分割圖像；