[發明專利]一種構建虛擬人物多模態運動的系統及方法

有效

• 申請號: 202110510122.5
• 申請日: 2021-05-11
• 公開（公告）號: CN113192163B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 王婷玉;謝文軍;王冬;程景銘;劉曉平
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06N3/02
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 楊媛媛

1.一種構建虛擬人物多模態運動的系統，其特征在于，包括：參數構建模塊、情景選擇模塊、狀態采集模塊、門控網絡模塊和運動預測模塊；

所述參數構建模塊與所述情景選擇模塊互連互通，且均連接所述門控網絡模塊的輸入端，所述參數構建模塊用于利用多種參數部件為虛擬人物構建虛擬場景，使所述虛擬人物在所述虛擬場景中進行交互運動；

所述情景選擇模塊用于設定一個目標坐標點作為所述虛擬人物的運動終點，并在所述虛擬場景中選擇一條或多條運動路徑，使所述虛擬人物沿著最短路徑向所述目標坐標點運動；

所述狀態采集模塊與所述門控網絡模塊的輸入端相連，所述狀態采集模塊用于采集所述虛擬人物在第i幀時的運動信息，并根據所述第i幀時的運動信息生成運動數據集，根據所述運動數據集生成二維相位向量，并將所述第i幀時的運動信息、所述運動數據集和所述二維相位向量傳輸至所述門控網絡模塊；所述運動數據集包括所述虛擬人物的各種運動狀態，所述二維相位向量包括所述虛擬人物在各種運動狀態下的雙腳的觸地情況；其中，i表示幀數；

所述門控網絡模塊的輸出端與所述運動預測模塊相連，所述門控網絡模塊用于根據所述第i幀時的運動信息、所述運動數據集和所述二維相位向量，結合各個所述參數部件的位置和所述目標坐標點，計算出所述虛擬人物當前交互運動中各個運動狀態的混合權重，根據所述混合權重生成特定運動權重并傳輸至運動預測模塊；

所述運動預測模塊用于根據所述第i幀時的運動信息和所述特定運動權重，對所述虛擬人物在第i+1幀時的運動信息進行預測，得到運動預測結果；

所述參數構建模塊具體包括可移動單元、可高亮單元、可穿越單元和可坐單元；

所述可移動單元包括交互場景下所述虛擬人物可移動的所有參數部件；

所述可高亮單元包括所述交互場景下除所述虛擬人物以外可高亮的所有參數部件，通過在高亮參數部件上掛載邊緣發光的腳本實現高亮；

所述可穿越單元包括所述交互場景下所述虛擬人物可穿越的所有參數部件；

所述可坐單元包括所述交互場景下可支撐所述虛擬人物坐下的所有參數部件；

所述情景選擇模塊具體包括位移單元、休息單元和工作單元；

所述位移單元用于將所述目標坐標點作為所述虛擬人物的運動終點，計算所述運動路徑中各個所述可高亮單元與所述目標坐標點之間的距離，并控制所述虛擬人物沿著最短運動路徑繞過多個所述可高亮單元后跑至所述目標坐標點；

所述休息單元用于將所述目標坐標點作為所述虛擬人物的運動終點，計算所述交互場景中各個所述可坐單元與所述虛擬人物之間的距離，并控制所述虛擬人物走向距離最近的所述可坐單元，坐下休息達到預設時間后，再走向所述目標坐標點；

所述工作單元用于將所述目標坐標點作為所述虛擬人物的運動終點，分別計算所述運動路徑中各個所述可移動單元和可穿越單元與所述目標坐標點之間的距離，并控制所述虛擬人物沿著最短運動路徑向所述目標坐標點運動，期間沿所述運動路徑每遇到一個所述可移動單元，則將所述可移動單元搬至所述目標坐標點，且每遇到一個所述可穿越單元則跨越所述可穿越單元，直至搬完所述運動路徑中所有的所述可移動單元為止，最終停留在所述目標坐標點；

所述狀態采集模塊包括：環境傳感器、交互傳感器和數據處理單元；

所述環境傳感器為以所述虛擬人物為圓心，半徑為R的圓柱形環境傳感器，實時檢測所述虛擬人物在所述環境傳感器的監測范圍內的環境幾何狀態信息；

所述交互傳感器為設于各個所述參數部件上的立方體集群，所述立方體集群鋪滿所述參數部件的各個位置，實時檢測所述虛擬人物的各個關節與所述參數部件的接觸情況和接觸位置；

所述數據處理單元用于根據所述第i幀時的運動信息生成所述運動數據集，并根據所述運動數據集生成所述二維相位向量，并將所述第i幀時的運動信息、所述運動數據集和所述二維相位向量傳輸至所述門控網絡模塊；

所述第i幀時的運動信息包括第i幀的幀輸入Fi、目標輸入Gi、交互幾何輸入Ii和環境幾何輸入Ei；

其中，所述幀輸入Fi包含第i幀時所述虛擬人物的姿態信息、所述虛擬人物的各關節點相對于根坐標的關節位置、關節旋轉、關節速度以及采樣軌跡點在過去和/或未來數秒窗口中的根坐標位置、世界坐標系中的根坐標朝向、在每個采樣軌跡點上從零到一的連續動作標簽；其中，所述根坐標為所述虛擬人物全身關節點的最中心節點的坐標，所述世界坐標系為Unity操作系統中的以原點（0，0，0）為中心的坐標系，i表示幀數；

所述目標輸入Gi包括所述交互場景中各個所述參數部件的位置、所述目標坐標點、各個所述參數部件的位置相對于所述虛擬人物第i幀的根坐標的方向和各個所述參數部件處即將啟動的one-hot動作標簽；

所述交互幾何輸入Ii包括所述交互場景中已有的可交互物體的幾何狀態信息；

所述環境幾何輸入Ei包括通過環境傳感器捕獲到所述虛擬人物在所述環境傳感器監測范圍內的環境幾何狀態信息。