[發(fā)明專利]基于深度強化學習的AR增強現(xiàn)實大屏互動的動畫仿真方法

有效

• 申請?zhí)枺?/td>: 201811098584.5
• 申請日: 2018-09-20
• 公開（公告）號: CN109345614B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設計）人: 范一諾;翟臨博;范應元
• 申請（專利權）人: 山東師范大學
• 主分類號: G06T13/00
• 分類號: G06T13/00;G06F3/01;G06N3/04;G06N3/08
• 代理公司: 濰坊博強專利代理有限公司 37244
• 代理人: 張麗麗

1.基于深度強化學習的AR增強現(xiàn)實大屏互動的動畫仿真方法,其特征在于，包括下述步驟：

步驟一，通過動作捕捉系統(tǒng)采集專業(yè)人士的動作數(shù)據(jù)，將不同設備采集的數(shù)據(jù)統(tǒng)一轉成bvh格式，通過代碼將數(shù)據(jù)進行分割、提取有用的數(shù)值并按照動作定義的關節(jié)順序進行組合排序，作為參考動作集；

步驟二，利用深度強化學習算法，每個策略由兩個神經(jīng)網(wǎng)絡互相作用來表示，先構建兩個caffe卷積神經(jīng)網(wǎng)絡框架：第一個網(wǎng)絡的第一層為512個單元組成的完全連接層，且為雙線性相位變換，第二層為兩組、六個256個單元的線性輸出層，上面的一個是評論者子網(wǎng)絡，用來預測每個演員的值函數(shù)；下面的是演員子網(wǎng)絡，用來為給定的狀態(tài)選擇出要執(zhí)行的動作；步驟一的參考動作集用于critic-actor策略進行決策的訓練，得到輸出的動作a_i，來驅動動畫角色模仿專業(yè)人士的動作姿勢；第二個網(wǎng)絡由兩層256個單元組成的完全連接層組成，通過角色區(qū)域的選定，來加快當下肢需要進行大幅度移動時的學習效率；

步驟三，通過策略中的自適應樣式和初始定義動作集使動畫可以根據(jù)特殊的情景來生成有別于參考動作的動作，來更好地適應新的環(huán)境；

步驟四，測試時，通過PD控制器驅動動畫角色，直接嵌入AR增強現(xiàn)實系統(tǒng)中，或與AR增強現(xiàn)實系統(tǒng)中原有的動畫角色進行結合，以達到控制動畫角色動作的目的；

步驟五，AR增強現(xiàn)實系統(tǒng)中的動畫角色模仿出真人的標準動作，使角色更加生動逼真；同時可以使角色自主決策左右兩個方向的移動，準確地進行動作模擬。

2.如權利要求1所述的基于深度強化學習的AR增強現(xiàn)實大屏互動的動畫仿真方法，其特征在于，在步驟一中，所述將數(shù)據(jù)進行分割的標準為：將連續(xù)的動作分成許多5秒的單獨動作片段，再對每個動作片段平均分成10份，即每份0.5秒，提取中間數(shù)據(jù)，作為一個動作的元組數(shù)據(jù)，所述參考動作集里面存儲了許多專業(yè)人士的動作姿勢，供動畫角色學習模仿；參考動作將作為目標和獎勵函數(shù)中的一個分量。

3.如權利要求1所述的基于深度強化學習的AR增強現(xiàn)實大屏互動的動畫仿真方法，其特征在于，在步驟二中，所述雙線性相位變換是為了保持LLC與參考運動同步，構造Φ=（Φ0，Φ1，Φ2，Φ3，Φ4）T，Φi∈（0,1）；其中，Φ0∈（0,0.2），則Φ0=1，否則為0。

4.如權利要求1所述的基于深度強化學習的AR增強現(xiàn)實大屏互動的動畫仿真方法，其特征在于，在步驟二中，所述“critic-actor策略”為：在每一集的開始處，初始狀態(tài)s從參考運動集或初始定義動作集均勻采樣，每個事件被模擬直到固定的時間范圍或直到觸發(fā)終止條件；一旦已經(jīng)收集了一批數(shù)據(jù)，則從數(shù)據(jù)集中采樣小批量并用于更新策略和值函數(shù)；使用TD計算的目標值、狀態(tài)、回報函數(shù)更新值函數(shù)，從多組值函數(shù)中以α的概率選出四組critic-actor對中回報函數(shù)最大的那一組，以1-α的概率隨機選擇剩余三組中的隨機一組，α通過不斷訓練進行調整。

5.如權利要求1所述的基于深度強化學習的AR增強現(xiàn)實大屏互動的動畫仿真方法，其特征在于，在步驟三中，所述“自適應樣式”是動畫角色根據(jù)實際場景自動調整生成的，主要解決稀有情況下的決策，而“初始定義動作集”是根據(jù)采集的選手常用簡單動作數(shù)據(jù)而提前設定的；通過初始定義動作集可以使動畫角色擁有更好的學習基礎，自適應樣式可以使動畫角色擁有更好的隨機應變能力和魯棒性，學習到許多稀有場景下的應對動作。

6.如權利要求1所述的基于深度強化學習的AR增強現(xiàn)實大屏互動的動畫仿真方法，其特征在于，在步驟四中，所述PD控制器將根據(jù)AR增強現(xiàn)實中的動畫角色的復雜程度定義三個分別為24、32和40的關節(jié)力矩來控制動畫的運動。