[發明專利]一種基于3D游戲的數據獲取方法、裝置、設備及存儲介質

在審

• 申請號: 202111470488.0
• 申請日: 2021-12-03
• 公開（公告）號: CN114100141A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 楊鎧成
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: A63F13/60
• 分類號: A63F13/60;G06F8/41;G06V20/64;G06V40/10;G06V10/34;G06V10/764;G06K9/62
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 鄭興旺

本申請公開了一種基于3D游戲的數據獲取方法、裝置、設備及存儲介質。該方法包括首先獲取目標3D游戲的編譯后的游戲數據抓取腳本；運行目標3D游戲，根據當前游戲畫面的數據質量利用抓取腳本獲得當前游戲畫面的圖像數據，包括當前幀原始圖、深度圖以及模板圖；再基于目標3D游戲的游戲腳本庫獲取當前游戲畫面的非圖像數據，包括攝像機數據，實體數據，人體骨骼數據；最后，將當前游戲畫面的圖像數據與非圖像數據進行匹配。可以看出，本申請實現了從3D游戲中獲取合成數據，相比于真實世界中數據采集效率更加高，并且，游戲合成數據可以從游戲中獲取相應的語義信息，可以極大的簡化數據標注過程。

技術領域

本發明涉及計算機圖形學領域，特別涉及一種基于3D游戲的數據獲取方法、裝置、設備及存儲介質。

背景技術

伴隨著技術的不斷進步，深度學習作為是機器學習領域中一個新的研究方向已經成為當今時代炙手可熱的焦點。深度學習技術通過學習數據樣本的內在的規律和層次，從而讓機器能夠像人一樣具有分析學習能力，也因此在人機對話、圖像識別等眾多任務上遠遠超過先前方法。

然而數據在深度學習的訓練過程中起著至關重要的作用，由于神經網絡模型參數往往比較大，若數據量很少，則網絡參數無法得到很好的訓練，因此效果也不會很好。然而構建一個大規模數據集的成本是非常昂貴的，無論在數據抓取階段還是數據標注階段均需要耗費大量的人力財力。

發明內容

基于此，本申請實施例提供了一種基于3D游戲的數據獲取方法、裝置、設備及存儲介質，可以有效解決從真實環境收集圖像成本較高，且很難獲得精確的深度數據的問題。

第一方面，提供了一種基于3D游戲的數據獲取方法，該方法包括：

獲取目標3D游戲的編譯后的游戲數據抓取腳本；

運行所述目標3D游戲，根據當前游戲畫面的數據質量利用抓取腳本獲得當前游戲畫面的圖像數據，所述圖像數據包括當前幀原始圖、深度圖以及模板圖；

基于所述目標3D游戲的游戲腳本庫獲取當前游戲畫面的非圖像數據，所述非圖像數據包括攝像機數據，實體數據，人體骨骼數據；

將當前游戲畫面的所述圖像數據與所述非圖像數據進行匹配。

可選地，所述圖像數據還包括：

基于所述模板圖通過膨脹腐蝕法來得到當前幀的三元圖。

可選地，所述膨脹腐蝕法具體包括：使用OpenCV中的cv2.dilate和cv2.erode。

可選地，所述根據當前游戲畫面的數據質量利用抓取腳本獲得當前游戲畫面的圖像數據，包括：

通過人為判斷當前游戲畫面數據質量；所述游戲質量包括畫面中實體的數量、畫面中實體的相對位置、畫面中人物的行為動作。

可選地，所述攝像機數據包括攝像機坐標、旋轉角；所述實體數據包括模型實體對應的坐標、模型實體名稱；所述人體骨骼數據包括55個骨骼關鍵點相對坐標。

可選地，所述目標3D游戲為GTAV，使用GTAVisionExport工具來從緩存中獲取圖像數據；

基于ScriptHookVDotNet游戲腳本庫來從GTAV游戲中獲取非圖像數據。

第二方面，提供了一種基于3D游戲的數據獲取裝置，該裝置包括：

編譯模塊，用于獲取目標3D游戲的編譯后的游戲數據抓取腳本；

第一獲取模塊，用于運行所述目標3D游戲，根據當前游戲畫面的數據質量利用抓取腳本獲得當前游戲畫面的圖像數據，所述圖像數據包括當前幀原始圖、深度圖以及模板圖；