[發明專利]一種虛擬場景數據標注生成方法及系統

有效

• 申請號: 202310294094.7
• 申請日: 2023-03-24
• 公開（公告）號: CN116012843B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 馬惠敏;公維熙;梅若恒;于淏辰;胡天宇
• 申請（專利權）人: 北京科技大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V20/64;G06V10/26;G06V10/774;G06V10/96
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

本發明提供一種虛擬場景數據標注生成方法及系統，涉及仿真場景構建技術領域。包括：通過半自動布局物體的方式，對素材進行導入；對導入的素材進行圖像數據的捕獲；對導入的素材的目標物體遮擋率進行計算以及自動標注；對處理后的素材進行三維模型導出，完成基于虛幻引擎的虛擬場景數據標注生成。本發明的輸出標注信息涵蓋圖像、標簽、掩碼、場景目標信息、場景圖（語義化場景描述）信息、甚至可以提供場景中特定物體的三維頂點模型以及整個場景合而為一的大場景網絡模型，滿足較為傳統且更大眾的二維圖像的同時，同時也可以支持更新的研究方向更廣闊的需求。

技術領域

本發明涉及仿真場景構建技術領域，尤其涉及一種虛擬場景數據標注生成方法及系統。

背景技術

隨著人工智能深度學習大網絡、大模型的興起，新技術新思路如雨后春筍般涌現，而以目前的主流學習范式中，不同功能、不同種類的網絡模型對于帶有多樣化的、有豐富標注信息的數據集的需求有增無減。因此對于如何獲取圖像數據集，尤其是對于如何生成數據的高質量標注的問題，也越來越成為了一種重要的關注領域。對于通過在真實世界中采樣和標注來構建的大體量數據集，如圖像識別和目標檢測領域的ImageNet以及目前日趨火熱的自動駕駛領域的多模態數據標注的nuScenes，在各項比賽中提供給各式各樣的模型進行訓練，為模型展現優異的效果提供了基本支持和衡量基線。不過這類真實數據集往往也有著采樣成本與采用難度高、人工標注開銷大、自動標注局限于模型、常常存在有偏和錯漏等問題。最近大火的AIGC，其本質為使用了如生成對抗網絡GAN，擴散模型Diffusion等這些熱點生成類模型進行工作，模型生成內容的流程越發偏向于自動化與智能化，已經有了從噪聲生成或者從語言描述中生成二維圖像的工作。雖然這類工作越發成熟和完善，但仍有一些問題存在，一方面，模型生成具有不確定性，即給定不同輸入得到的輸出并無規律可循，可能相差甚遠，難以做到在三維上具有物理意義的可控生成；另一方面，對于特定的場景描述，模型生成無法得到較為滿意的結果，只做到了簡單場景下的單物體生成。

在這樣的大環境大背景之下，隨著人工智能發展，三維場景的構建與提出對應數據集的需求逐漸強烈，但目前僅有少數領域如SLAM方向的數據集具有對應的語義信息標注，而越來越多的生成任務以及底層任務，更需要進行場景精細化構建以及精細化三維重建。

目前對于人工智能、計算機視覺的研究，也已逐漸從圖像顏色、紋理信息等等低表征維度上的信息逐步提升到高維度的物體的部分識別，包括物體的宏觀類別、所處位置，到物體間關系，物體自身的屬性信息。通過場景圖標注可以很清晰表示場景內物體的自身屬性以及物體間位置關系，而目前此類方法標注通常依賴于人工，且已有數據集中也很少有大批量準確的場景圖語義標注。

發明內容

本發明提供了一種虛擬場景數據標注生成方法，不僅可以通過采用仿真平臺半自動布局，對場景搭建自主可控。另一方面，可以實現在仿真環境中復現在真實場景中由于各種原因約束難以獲取的困難樣本以及創造并不存在的樣本。

為解決上述發明目的，本發明提供的技術方案如下：一種虛擬場景數據標注生成方法，其特征在于，步驟包括：

一種虛擬場景數據標注生成方法，其特征在于，步驟包括：

S1：通過半自動布局物體的方式，對素材進行導入并對場景進行搭建；其中所述素材包括紋理圖像數據、三維模型數據；

S2：在搭建好的場景中布設攝像機，通過所述攝像機進行場景與導入素材的交互；其中，所述攝像機通過自動腳本或鍵盤鍵入信息進行控制；

S3：對場景中導入的素材進行目標物體識別，控制攝像機進行目標物體的紋理圖像數據的捕獲；對目標物體遮擋率進行計算以及自動標注；基于所述三維模型數據，對自動標注后的目標物體進行三維模型導出，完成虛擬場景數據標注生成。

優選地，步驟S1中，通過半自動布局物體的方式，對素材進行導入并對場景進行搭建，包括：

對素材進行劃分，劃分種類包括：靜態素材以及動態素材；