[發明專利]一種基于物理仿真的物體語義和位姿數據集生成方法

有效

• 申請號: 201811428876.0
• 申請日: 2018-11-27
• 公開（公告）號: CN109523629B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 莊春剛;朱向陽;趙恒;王哲;張波
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00
• 代理公司: 上海旭誠知識產權代理有限公司 31220
• 代理人: 鄭立

本發明公開了一種通過物理仿真生成物體語義和位姿數據集的方法，涉及機器人智能感知的深度學習應用領域，包括幾何建模、初始化、仿真解算、渲染、讀取和生成大規模數據集這幾個步驟。本發明針對工業機器人分揀應用中用于深度學習的物體識別數據集建設成本大的問題，提出了一種基于物理仿真的物體語義和位姿數據集生成方法，能夠獲取逼近真實場景的數據集，適應于工業領域物體分揀應用中的低成本數據集生成，同樣適應于其他物體語義和位姿識別領域的數據集生成應用，具有成本低、數據集逼近真實場景和應用范圍廣的效果。

技術領域

本發明涉及機器人智能感知的深度學習應用領域，尤其涉及一種基于物理仿真的物體語義和位姿數據集生成方法。

背景技術

隨著機器人智能感知技術的發展，基于深度學習的物體識別算法對拓展機器人工業分揀應用場景起到了重要作用。對實際機器人工業分揀應用，訓練一個有效的深度學習物體識別模型需要針對具體的識別物體建立有對應標注的大規模數據集。目前，物體識別數據集的標注信息主要包括場景中每個物體的類別，包圍框，語義分割和三維位姿；在實際數據集建設時，現有技術主要采用傳統人工標注和后處理的方法來進行標注，標注和數據獲取成本大。為了降低物體識別數據集建設的成本，本發明在考慮實際機器人感知應用中傳感器實際可獲取數據和物體識別目標的情況下，在工業機器人分揀場景下生成逼真的可供深度學習模型訓練和位姿識別算法測試的物體語義和位姿數據集，通過在物理仿真場景中，隨機生成大量不同物體擺放場景和不同相機光源位置，自動生成顏色圖像，深度圖像和點云數據，并對應生成每個物體的類別、包圍框、語義分割和位姿標注，構建大規模數據集。

因此，本領域的技術人員致力于開發一種基于物理仿真的物體語義和位姿數據集生成方法。

發明內容

有鑒于現有技術的上述缺陷，本發明所要解決的技術問題是如果采用傳統人工標注和后處理的方法來進行標注，標注和數據獲取成本大。

為實現上述目的，本發明提供了一種基于物理仿真的物體語義和位姿數據集生成方法，其特征在于，所述方法包括以下步驟：

步驟1、針對數據應用場景進行幾何建模；

步驟2、通過物理引擎建立物理場景，初始化場景各個幾何體物理仿真參數和渲染配置；

步驟3、隨機初始化相機配置，光源配置和物體類型，個數及初始姿態；

步驟4、根據物理場景當前狀態進行仿真解算，達到物理穩定結果，貼近實際物體堆疊場景；

步驟5、根據當前相機配置渲染場景的顏色圖像，深度圖像和點云數據，恢復場景點云；

步驟6、通過讀取物理世界內部參數和渲染設置，得到場景中每個物體的類別，語義，包圍框和位姿等標注信息；

步驟7、重復步驟4至步驟6，直至數據集達到指定數據規模，生成大規模數據集。

進一步地，所述步驟1包括如下步驟：

步驟1.1、對物體和構成所述數據應用場景的物體建立三維幾何模型；

步驟1.2、利用實際物體和場景表面拍攝的圖像，對所述三維幾何模型的表面進行貼圖，從而得到外觀貼近真實物體的三維模型。

進一步地，所述步驟2包括如下步驟：

步驟2.1、將所述外觀貼近真實物體的三維模型導入物理引擎，建立貼近真實環境的具備相應仿真參數的物理場景；

步驟2.2、利用所述物理引擎初始化各個所述三維模型的仿真碰撞參數，物體類型、個數及初始姿態。

進一步地，所述步驟3包括如下步驟：

步驟3.1、隨機初始化相機配置，渲染配置，光源配置；