[發明專利]一種基于物理仿真的物體語義和位姿數據集生成方法

有效

• 申請號: 201811428876.0
• 申請日: 2018-11-27
• 公開（公告）號: CN109523629B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 莊春剛;朱向陽;趙恒;王哲;張波
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00
• 代理公司: 上海旭誠知識產權代理有限公司 31220
• 代理人: 鄭立

1.一種基于物理仿真的物體語義和位姿數據集生成方法，其特征在于，所述方法包括以下步驟：

步驟1、針對數據應用場景進行幾何建模；包括以下步驟：

步驟1.1、對物體和構成所述數據應用場景的物體建立三維幾何模型；

步驟1.2、利用實際物體和場景表面拍攝的圖像，對所述三維幾何模型的表面進行貼圖，從而得到外觀貼近真實物體的三維模型；

步驟2、通過物理引擎建立物理場景，初始化場景各個幾何體物理仿真參數和渲染配置；包括以下步驟：

步驟2.1、將所述外觀貼近真實物體的三維模型導入物理引擎，建立貼近真實環境的具備相應仿真參數的物理場景；

步驟2.2、利用所述物理引擎初始化各個所述三維模型的仿真碰撞參數，

物體類型、個數及初始姿態；

步驟3、隨機初始化相機配置，光源配置和物體類型，個數及初始姿態；

包括以下步驟：

步驟3.1、隨機初始化相機配置，渲染配置，光源配置；

步驟3.2、通過隨機環境光照和相機位置，獲得多角度的貼近真實場景的物體渲染配置；

步驟4、根據物理場景當前狀態進行仿真解算，達到物理穩定結果，貼近實際物體堆疊場景；

步驟5、根據當前相機配置渲染場景的顏色圖像，深度圖像和點云數據，

恢復場景點云；

步驟6、通過讀取物理世界內部參數和渲染設置，得到場景中每個物體的類別，語義，包圍框和位姿等標注信息；

步驟7、重復步驟4至步驟6，直至數據集達到指定數據規模，生成大規模數據集。

2.根據權利要求1所述的一種基于物理仿真的物體語義和位姿數據集生成方法，其特征在于，所述步驟6包括如下步驟：

步驟6.1、通過獨立渲染得到每個物體對應的類別，包圍框和語義掩模；

步驟6.2、通過內部參數讀取對應物體的位姿數據，并將物體位姿統一到相機坐標系下。

3.根據權利要求1所述的一種基于物理仿真的物體語義和位姿數據集生成方法，其特征在于，所述步驟7通過重復仿真和標簽生成，使所述數據集達到貼近真實場景的指定規模。

4.根據權利要求1所述的一種基于物理仿真的物體語義和位姿數據集生成方法，其特征在于，步驟1.2中的所述貼圖的圖源來自相機拍攝的實際物體和場景的各個方向視圖。

5.根據權利要求2所述的一種基于物理仿真的物體語義和位姿數據集生成方法，其特征在于，步驟6.1中的所述渲染只對單個物體表面進行，遮擋部分不會被渲染。

6.根據權利要求1所述的一種基于物理仿真的物體語義和位姿數據集生成方法，其特征在于，步驟4中的所述仿真解算采用基于網格的碰撞體檢測算法進行物理仿真。

7.根據權利要求1所述的一種基于物理仿真的物體語義和位姿數據集生成方法，其特征在于，步驟3.2中的所述渲染配置包括物體表面漫反射渲染。