[發明專利]一種基于深度學習與大數據的體感游戲交互方法及系統

在審

• 申請號: 201710471290.1
• 申請日: 2017-06-20
• 公開（公告）號: CN107291232A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 呂怡靜;劉偉平;杜戈;奚杭
• 申請（專利權）人: 深圳市澤科科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習與大數據的體感游戲交互方法，其特征在于，所述方法包括：

步驟一 收集動作視頻樣本數據集

預先收集不同玩家游戲時的肢體動作視頻片段，得到動作視頻樣本數據集，并為樣本數據添加相應的動作標簽，動作標簽與游戲目標控制指令一一對應；

步驟二 建立并離線訓練深度卷積神經網絡模型

對步驟一獲得的視頻樣本數據集進行深度學習訓練，建立深度卷積神經網絡模型并進行離線訓練，離線訓練時將誤差反向傳播，并使用隨機梯度下降法更新網絡權重參數，最終使網絡的損失函數到達一個最小值，所述深度卷積神經網絡模型用于輸入玩家游戲時的肢體動作視頻，輸出玩家動作預測結果；所述玩家動作預測結果包括動作分類及動作分類的概率分布數據；

步驟三 使用將深度卷積神經網絡模型

將深度卷積神經網絡模型融合進體感游戲交互系統中，通過深度卷積神經網絡分析玩家游戲時的實時肢體動作，并轉換為對游戲目標的實際控制數據。

2.如權利要求1所述的基于深度學習與大數據的體感游戲交互方法，其特征在于，所述動作視頻樣本數據庫包括訓練數據庫、驗證數據庫、測試數據庫，大小比例為70％：10％：20％。

3.如權利要求1所述的基于深度學習與大數據的體感游戲交互方法，其特征在于，對深度卷積神經網絡的離線訓練具體包括：

確定用于網絡模型訓練的不同玩家游戲時的肢體動作視頻，對視頻幀的尺寸歸一化；

將動作視頻在卷積神經網絡模型中做迭代訓練，并在迭代訓練過程中采用隨機梯度下降法調整網絡權值參數，直至達到最大迭代次數或在驗證集上檢測的準確率連續一定時間不下降時停止訓練，得到用于對玩家游戲時的實時肢體動作進行分析的卷積神經網絡模型。

4.如權利要求1所述的基于深度學習與大數據的體感游戲交互方法，其特征在于，深度卷積神經網絡模型包括卷積層、下采樣層、全連接層、softmax層，所述卷積層包括五層卷積層，第一、三、五層卷積層各設有一個下采樣層，下采樣層用于對卷積操作處理后得到的特征圖進行下采樣。

5.如權利要求1所述的基于深度學習與大數據的體感游戲交互方法，其特征在于，所述方法還包括：

步驟四 基于大數據的深度網絡模型在線優化

利用大數據平臺收集玩家實際的游戲操作肢體動作視頻；

對視頻進行預處理后，傳送至云服務器，在云服務器中構建帶標簽的樣本數據庫；

定期利用所述動作視頻樣本數據庫對所述離線訓練得到的深度卷積神經網絡模型進行在線微調；

定期將所述在線微調后的網絡模型更新至體感游戲交互系統中。

6.如權利要求5所述的基于深度學習與大數據的體感游戲交互方法，其特征在于，對視頻進行預處理，包括剔除視頻中與游戲玩家肢體操作內容無關的幀，并對視頻尺度歸一化。

7.如權利要求5所述的基于深度學習與大數據的體感游戲交互方法，其特征在于，將視頻傳送至云服務器之前，使用視頻壓縮技術減少視頻數據的冗余后，再將壓縮后的視頻存儲至云服務器中。

8.一種基于深度學習與大數據的體感游戲人機交互系統，其特征在于，所述系統包括：

深度卷積神經網絡離線訓練模塊，用于對由玩家戲時的肢體動作視頻組成的訓練樣本數據集進行深度學習訓練，建立深度卷積神經網絡，訓練時將誤差反向傳播，并使用隨機梯度下降法更新網絡權重參數，最終使網絡的損失函數到達一個最小值，深度卷積神經網絡用于輸入玩家游戲時的肢體動作視頻，輸出游戲玩家動作預測結果；游戲玩家動作預測結果包括動作分類及其概率分布數據；

實時人機交互模塊，用于在游戲玩家開始游戲時，啟動游戲主機自帶的普通攝像頭，實時采集游戲玩家與游戲目標人物交互的肢體動作，并傳送至游戲主機的中央處理單元，作為深度卷積神經網絡模型的數據輸入流，經過深度網絡的分析之后，得到游戲玩家動作類別，再發出與該類別相應的指令控制游戲目標人物的運動軌跡；

基于大數據的深度網絡模型在線優化模塊，用于利用大數據平臺收集玩家游戲時的肢體動作視頻，對視頻進行預處理后傳送至云服務器，在云服務器中構建大規模帶標簽的樣本數據庫；定期利用樣本數據庫對離線訓練得到的深度卷積神經網絡模型進行在線微調，并定期將在線微調后的網絡模型更新至體感游戲交互系統中。