[發明專利]一種基于多個單獨手語動作產生連續手語動作的方法

在審

• 申請號: 202010129177.7
• 申請日: 2020-02-28
• 公開（公告）號: CN111369652A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 高鑄道;肖涵;高春鳴;郭松睿
• 申請（專利權）人: 長沙千博信息技術有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06F3/01;G06F40/289
• 代理公司: 北京市浩東律師事務所 11499
• 代理人: 李瓊

1.一種基于多個單獨手語動作產生連續手語動作的方法，其特征在于，包括以下步驟：

動作數據預處理階段：

步驟(1)：制作多個單獨手語動作數據。通過動作捕捉設備結合美工修正的方式制作多個單獨手語動作，包含大量動作動畫數據M，

M＝{M₁,M₂,...,M_num},num∈N，

其中nim為一個較大的自然數，使得M能夠包含足夠多的單獨手語動作。這些動作數據最終被抽象為虛擬人物骨骼的所有重要關節的旋轉數據以及位移數據；

步驟(2)：標注動作的時間戳，劃分動作。目標是根據語義將每一個單獨手語動作劃分為抬手、動作、放手三段，并使用時間戳標記劃分點：將開始的時間點標記為t_start，從開始到抬手完成的時間點標記為t_ready，抬手完成到手語動作完成，準備放手的時間點標記為t_relax，開始放手到整個動作完成的時間點標記為t_stop；

步驟(3)：將經過預處理的動作數據，存儲在服務器端。制作好的單獨手語動作數據首先被存儲在服務器端，在需要時會下載其中一部分到客戶端。

實時計算階段：

步驟(4)：設定目標連續手語L，這通常是一句自然語言，如“你好，今天天氣怎么樣？”，即L＝“你好，今天天氣怎么樣？”

步驟(5)：使用自然語言處理程序對L進行分詞，得到可用的手語動作序列Seq，其由一系列有序的分詞組成，即

Seq＝{Segment₁,Segment₂,...,Segment_k}，

其中k≥0，Segment為分詞，對應一個單獨手語動作。

例如：Seq＝{“你好”，“今天”，“天氣”，“怎么樣”}；

步驟(6)：將對應的單獨手語動作從服務器端下載至客戶端，得到動作序列M_seq：

M_seq＝{M₁,M₂,...,M_k}

步驟(7)：計算和調整每個單獨手語動作的時間戳。

動作M_i的時間戳為

令第一個動作的開始時間為當前時間，即

按照下列公式遞歸計算出所有動作的時間戳：

其中0.2單位為秒，為經驗值常數。

按照下列公式調整動作的時間戳：

步驟(8)：獲取當前時間t_now，計算每個單獨手語動作的權重W_i。

按照以下公式計算權重：

步驟(9)：產生在當前時間t_now的動作數據幀

使用如下公式計算：

步驟(10)：重復步驟(8)至步驟(9)，直至產生連續手語動作M_result。

步驟(11)：渲染。有兩種渲染方案。方案1，每一幀將輸出到渲染引擎；方案2，將M_result輸出到渲染引擎。根據實際情況可以選擇其中一種渲染方案。兩種渲染方案所采用的算法效率均可以滿足渲染引擎實時渲染的性能要求，可以實時驅動虛擬人物做出連續的手語動作。

2.根據權利要求1所述的一種基于多個單獨手語動作產生連續手語動作的方法，其特征在于，虛擬人物模型以及手語動作動畫可通過任意支持骨骼動畫的渲染引擎實現。

3.根據權利要求1所述的一種基于多個單獨手語動作產生連續手語動作的方法，其特征在于，所述多個單獨手語動作需要利用標記時間戳的方法根據動作語義劃分為抬手、動作、放手三段。

4.根據權利要求1所述的一種基于多個單獨手語動作產生連續手語動作的方法，其特征在于，所述設定的連續手語目標可以是任意的自然語言。

5.根據權利要求1所述的一種基于多個單獨手語動作產生連續手語動作的方法，其特征在于，所述連續手語動作由至少一個單獨手語動作根據所述算法產生，使用的單獨手語動作取決于自然語言處理程序的分詞。