[發明專利]一種標記語言驅動的中國手語合成系統

有效

• 申請號: 201210083348.2
• 申請日: 2012-03-26
• 公開（公告）號: CN102682644A
• 公開（公告）日: 2012-09-19
• 發明（設計）人: 羅笑南;陳家熙;譚劉源;劉海亮;林謀廣
• 申請（專利權）人: 中山大學
• 主分類號: G09B21/04
• 分類號: G09B21/04;G06T13/00;G06F17/27;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種標記語言驅動的中國手語合成系統，其特征在于，該系統由兩個模塊組成：手語韻律控制器和手語行為合成器，并采用中國手語標記語言作為系統輸入和模塊間的數據接口，具有功能層和音韻層兩層結構；手語韻律控制器模塊處于韻律實現模型的最上層，完成韻律控制模型定義的功能，將抽象韻律描述轉化為具體行為描述的能力，提供對于不同層次文檔的處理能力，即識別功能層元素的能力，并提供將其轉化為音韻層元素的處理能力，處理能力的高低取決于系統所能識別的元素數量和具體的韻律控制模型；手語韻律控制器應首先根據標記語言的DTD文件驗證文檔元素的有效性，對不符合標記語言設計規范的文檔提出警告，并有權拒絕接受處理；手語行為合成器模塊處于韻律實現模型的最下層，完成韻律產生模型定義的功能，將韻律參數轉化為可被直接繪制的參數，并提供最終的實現。

2.如權利要求1所述的系統，其特征在于，手語韻律控制器的核心功能是對手語標記語言文檔進行處理，實現功能層元素標記到音韻層標記的轉化，具體的實現流程為：韻律控制器首先將未處理過的手語標記語言文檔讀入內存，解析并建立用于修改和查找的DOM樹，并執行如下的處理：a.語法行為的計算：即對功能層標記進行展開，在DOM中插入相應的音韻層描述，韻律控制器會從根節點開始順序掃描文檔，為每個詞和詞根元素建立默認的音韻層描述，包括手部語法行為描述；b.韻律行為選擇和韻律參數調整：從輸入文檔的韻律結構可分析得出，按照內部結構優先的原則，控制器從文檔的最內層韻律結構開始遍歷查找是否存在抽象韻律描述。

3.如權利要求1所述的系統，其特征在于，手語行為合成器包含三個主要的功能：標記解析，標記解析階段主要完成對文檔的DOM樹的構建，提取關于行為描述的元素和同步關系.用于后續階段參數生成的計算；參數生成，參數生成模塊作為韻律實現模型的最底層，根據文檔解析后得到的行為描述，從相應的多模式運動數據庫中查找匹配數據，按照韻律需求調整數據，生成渲染參數；渲染，采用動畫渲染，根據運動數據幀中的FAP值和FBP值分別驅動身體各部分，逐幀繪制、實現連貫的手語動畫。

4.如權利要求1或3所述的系統，其特征在于，參數生成中，時間計算動畫參數的生成需要獲得三部分的參數，行為的絕對時間和持續時長、行為方式信息以及行為質量信息；關于行為方式和行為質量信息均可從CSLML中直接提取.因此該階段的主要任務就是獲得時間信息；在手語運動中.手部時間是整體行為時間的基線；需要首先定義每個手勢的時長，并通過分析標記在CSLML中的韻律結構和同步參數決定行為之間的相互關系.進而獲得每個行為的絕對起始時間和絕對時長；

運動控制階段是對行為按時間進行排序并決定幀數據的計算順序，實現運動的并行和串行處理；對于并發或者在時間上有重疊的不同模式的行為，按照如下的順序依次送入下一個階段進行動畫參數的最終計算：身體、頭、眼睛、面部、唇動、手，其根本目的在于保證運動的混合和疊加的實現；

采用基于關鍵幀的動畫繪制技術，在采樣插值階段首先要根據標記的行為描述匹配并獲取行為數據庫中關鍵幀記錄，并依據相應的韻律參數和絕對時長，按照系統定義算法擬合運動曲線并最終生成連續的動畫幀。