[發明專利]一種虛擬場景數據標注生成方法及系統

有效

• 申請號: 202310294094.7
• 申請日: 2023-03-24
• 公開（公告）號: CN116012843B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 馬惠敏;公維熙;梅若恒;于淏辰;胡天宇
• 申請（專利權）人: 北京科技大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V20/64;G06V10/26;G06V10/774;G06V10/96
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種虛擬場景數據標注生成方法，其特征在于，步驟包括：

S1：通過半自動布局物體的方式，對素材進行導入并對場景進行搭建；其中所述素材包括紋理圖像數據、三維模型數據；

S1中，通過半自動布局物體的方式，對素材進行導入并對場景進行搭建，包括：

對素材進行劃分，劃分種類包括：靜態素材以及動態素材；

將所述靜態素材從建模軟件或虛幻引擎素材庫中導入；

將所述動態素材通過場景編輯器進行自動布局，或對所述動態素材進行編輯規則區域，在運行中動態布局并進行場景搭建；

所述自動布局，包括：

在程序初始化生成場景的部分添加自動布局生成模塊；對不同類型的動態素材進行規則集設定；

通過所述自動布局生成模塊，根據所述規則集以及預設的布局數據，隨機生成目標物體的位置；其中，所述目標物體為動態素材中的任一物體；

對程序進行參數設定；其中，所述參數設定包括：在編輯器頁面設定要生成的目標物體引用、生成數目以及約束規則；

其中，所述約束規則包括：根據程序編碼生成的符合行車或行走規則的約束規則；

根據設定好的程序，運行程序初始化生成場景的自動布局生成模塊，進行自動布局；

S2：在搭建好的場景中布設攝像機，通過所述攝像機進行場景與導入素材的交互；其中，所述攝像機通過自動腳本或鍵盤鍵入信息進行控制；

S3：對場景中導入的素材進行目標物體識別，控制攝像機進行目標物體的紋理圖像數據的捕獲；對目標物體遮擋率進行計算以及自動標注；基于所述三維模型數據，對自動標注后的目標物體進行三維模型導出，完成虛擬場景數據標注生成；

S3中，對場景中導入的素材進行目標物體識別，控制攝像機進行目標物體的紋理圖像數據的捕獲；對目標物體進行自動標注以及遮擋率計算；對自動標注后的目標物體進行三維模型導出，完成虛擬場景數據標注生成，包括：

通過所述攝像機捕獲場景中RGB圖像，所述RGB圖像包括：語義分割圖與實例分割圖；根據路徑追蹤算法生成語義分割圖與實例分割圖的自動標注；

根據遮擋率算法對每個目標物體進行遮擋率計算，獲得遮擋關系；根據場景中多個目標物體的坐標信息以及所述遮擋關系對目標物體間關系進行計算，獲得場景圖標注；

根據預先設定的導出選項，自動導出三維模型或手動選擇需要導出的場景，將整個場景的大場景網格模型導出，完成虛擬場景數據標注生成；

所述通過所述攝像機捕獲場景中RGB圖像，所述RGB圖像包括：語義分割圖與實例分割圖；根據路徑追蹤算法生成語義分割圖與實例分割圖的自動標注，包括：

獲取程序初始化生成場景中的目標物體，通過所述攝像機對所述目標物體進行自動化捕獲場景中RGB圖像，或通過手動控制所述攝像機觀察場景中的角色，并移動到合適角度捕獲場景中RGB圖像；所述RGB圖像包括：語義分割圖與實例分割圖；

將捕獲的RGB圖像通過虛幻引擎API渲染到渲染目標RT中，并保存為圖像文件；

基于路徑追蹤算法，獲取所述圖像文件中場景圖像分辨率中的每一個像素點，根據路徑追蹤算法對所述每一個像素點進行射線求交操作，將射線求交后的每一個像素點都保存為標簽圖像文件，生成語義分割圖與實例分割圖的自動標注；

所述基于路徑追蹤算法，獲取所述圖像文件中場景圖像分辨率中的每一個像素點，根據路徑追蹤算法對所述每一個像素點進行射線求交操作，將射線求交后的每一個像素點都保存為標簽圖像文件，生成語義分割圖與實例分割圖的自動標注，包括：

對于目標物體的語義分割圖，從攝像機點出發，向語義分割圖中每個像素點位置進行射線求交操作；若與某一物體相交，則查看所述物體是否已分配顏色，若沒有則記錄所述物體以及所述物體對應的顏色，以供后續同一物體置為同一顏色；若沒有與任何物體相交，則此像素點無物體，默認為黑色；將每個像素點賦值后存儲為與捕獲的RGB圖像同樣大小的標簽圖像文件；

對于目標物體的實例分割圖，從所述攝像機點出發，向要存儲的圖像中每個像素點位置進行射線求交操作，在射線求交時忽略整個場景中除目標物體外的所有物體；將每個像素點賦值后存儲為與捕獲的RGB圖像同樣大小的標簽圖像文件；

所述根據遮擋率算法對每個目標物體進行遮擋率計算包括：

根據目標物體的label標簽計算出其總面積大小，通過與場景中其余物體進行求交運算，判斷前后位置：

????????????????????（1）

其中，S_covered為被遮擋物體面積，S_{cover_i}表示第i個物體的遮擋物體面積，而S_cover∩S_covered表示兩者中有所遮擋的部分，而結果S_{cover_rate_i}為第i個物體對總遮擋的貢獻率；

將場景圖像與目標物體mask求交的圖像表示為目標物體像素的面積表示為S_{visible_covered}；將S_{visible_covered}與被遮擋物體面積S_covered求比例，表示為總未被遮擋率；將總未被遮擋率與公式（1）求差后則為總遮擋率S_{total_covered}：

????????????????????????（2）；

所述根據場景中多個目標物體的坐標信息以及所述遮擋關系對目標物體間關系進行計算，獲得場景圖標注，包括：

根據遮擋率計算結果以及RGB圖像捕獲結果，對每個目標物體分別用對應的實例分割圖作為基準圖像，逐像素點進行掃描計算遮擋關系，獲得物體間關系，生成場景圖數據標注信息。

2.一種虛擬場景數據標注生成系統，其特征在于，所述系統用于如權利要求1所述的虛擬場景數據標注生成方法，所述系統包括：

素材導入模塊，用于通過半自動布局物體的方式，對素材進行導入并對場景進行搭建；其中所述素材包括紋理圖像數據、三維模型數據；

交互模塊，用于在搭建好的場景中布設攝像機，通過所述攝像機進行場景與導入素材的交互；其中，所述攝像機通過自動腳本或鍵盤鍵入信息進行控制；

自動標注及導出模塊，用于對場景中導入的素材進行目標物體識別，控制攝像機進行目標物體的紋理圖像數據的捕獲；對目標物體遮擋率進行計算以及自動標注；基于所述三維模型數據，對自動標注后的目標物體進行三維模型導出，完成虛擬場景數據標注生成；

所述素材導入模塊，進一步用于：

對素材進行劃分，劃分種類包括：靜態素材以及動態素材；

將所述靜態素材從建模軟件或虛幻引擎素材庫中導入；

將所述動態素材通過場景編輯器進行自動布局，或對所述動態素材進行編輯規則區域，在運行中動態布局并進行場景搭建。