[發明專利]多種類工業零件堆疊場景的仿真數據集生成方法及裝置

有效

• 申請號: 202110648136.3
• 申請日: 2021-06-10
• 公開（公告）號: CN113297701B
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 曾龍;張欣宇;呂偉杰
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06F30/17
• 分類號: G06F30/17;G06F30/20;G06F119/14
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 方艷平

本發明公開了一種多種類工業零件堆疊場景的仿真數據集生成方法，包括：建立預定尺寸的物料框和不同種類的工業零件的三維模型，并生成多種類多實例參數化零件模型庫；從模型庫中采樣出預定數量的零件模型；通過動力學仿真引擎，對采樣出的零件模型進行自由落體運動仿真和碰撞仿真，以生成多種類多實例零件的堆疊場景，并自動標注和保存堆疊場景中每個物體的類別標簽和位姿標簽；為每個堆疊場景分別生成并記錄透視投影視角和正交投影視角下的深度圖、RGB圖、分割圖以及單個物體的完整掩碼圖；重復上述步驟，生成多種類工業零件堆疊場景的仿真數據集。本發明能夠快速便捷地生成屬于同一參數化模板的不同參數的零件物體模型。

技術領域

本發明涉及深度學習技術領域，尤其設計多種類工業零件堆疊場景的仿真數據集生成方法及裝置。

背景技術

近年來，面向工業零件理解的深度學習神經網絡技術獲得了較快的研究和應用，如語義識別、個體分割、位姿估計和機械臂抓取等。訓練神經網絡需要大量的訓練數據，而目前通過手動標注訓練數據集的方法過于繁瑣和困難，且容易產生誤差，難以有效生成大批量數據。因此，具有自動標注能力的仿真數據生成方法顯得必要且急迫，能大大促進學習類技術在工業領域的進一步發展。

多種類零件的堆疊場景是指來自多個種類的零件雜亂地堆疊在一起形成的場景，其中的零件可能會來自相同的參數化零件模板，但參數值不同，或者屬于不同種類的參數化模板。產品零件的拆解回收場景就是典型的多種類零件堆疊場景。拆解下來的工業零件一般屬于不同種類，并散亂堆疊于物料框內等待分揀回收，機器人需要識別各個零件的種類并實現個體級別的分割和位姿估計，從而引導機械臂將全部零件進行分揀并放置到相應種類的回收框內。

現有面向工業場景的仿真數據集需要預先為場景中待識別的每一個種類構建一個模板模型。然而目前的物體建模方法是將完全相同的物體作為一個種類，單獨為其生成一個三維模型。若將拆解回收場景中的每一種零件都視為一個種類，便會導致建模工作量過大、模型生成過程繁瑣復雜等問題。此外，現有仿真數據集生成方法大多只包含單一種類的物體，或只生成圖像或點云的單模態數據，豐富度較低。比如，CN109583474A公開了一種工業大數據處理的訓練樣本生成方法，該方法通過圖像生成對抗網絡構建出各類工業缺陷的圖像單模態數據集。CN112562067A公開了一種生成大批量點云數據的方法，該方法通過建立物體的三維模型并在模型上采樣出表面點云，然后將場景中各個組成部分的表面點云進行組合處理生成組合表面點云，多次重復以生成大批量點云單模態數據集。多種類零件堆疊場景中零件相互遮擋嚴重、種類復雜多樣等問題會給機器人視覺系統帶來巨大的挑戰。

以上背景技術內容的公開僅用于輔助理解本發明的構思及技術方案，其并不必然屬于本專利申請的現有技術，在沒有明確的證據表明上述內容在本專利申請的申請日已經公開的情況下，上述背景技術不應當用于評價本申請的新穎性和創造性。

發明內容

為解決上述技術問題，本發明提出一種多種類工業零件堆疊場景的仿真數據集生成方法及裝置，能夠快速便捷地生成屬于同一參數化模板的不同參數的零件物體模型。

為了達到上述目的，本發明采用以下技術方案：

本發明公開了一種多種類工業零件堆疊場景的仿真數據集生成方法，包括以下步驟：

S1：建立預定尺寸的物料框的三維模型和不同種類的工業零件的三維模型，并生成多種類多實例參數化零件模型庫；

S2：從模型庫中采樣出預定數量的零件模型；通過動力學仿真引擎，對采樣出的零件模型進行自由落體運動仿真和碰撞仿真，以生成多種類多實例零件的堆疊場景，并自動標注和保存堆疊場景中每個物體的類別標簽和位姿標簽；

S3：根據實際相機的相關參數和光照環境，設置渲染引擎中的仿真相機和仿真光源的參數，為每個堆疊場景分別生成并記錄透視投影視角和正交投影視角下的深度圖、RGB圖、分割圖以及單個物體的完整掩碼圖；