[發明專利]基于教學語義的虛擬老師肢體動作生成方法及系統

在審

• 申請號: 202110586270.5
• 申請日: 2021-05-27
• 公開（公告）號: CN113362471A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 盧慶華;黃元忠;宋衛
• 申請（專利權）人: 深圳市木愚科技有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G09B5/06;G09B7/02;G06K9/00;G06F40/30;G10L13/02
• 代理公司: 北京華夏正合知識產權代理事務所(普通合伙) 11017
• 代理人: 韓登營

1.基于教學語義的虛擬老師肢體動作生成方法，其特征在于，包括：

通過計算機視覺和三維建模技術，構建出在真實或三維建模下的虛擬課堂場景以及課堂教學所涉及的至少課件窗口、場景物件和教學用具；

通過深度學習、計算機視覺和三維建模技術，構建出在真實或三維建模下的虛擬教師形象；

通過深度學習技術，將復雜環境下的至少課堂教學文本、課堂課件、課堂教學用具作為輸入變量，生成出高度逼真的基于虛擬教師形象的連續的發音口型、面部表情和肢體動作；

通過語音合成技術、語義識別技術自建教學內容數據庫，將目標教學內容的文本數據合成并輸出對應的語音及語義；

通過自然語言工程技術，將學生提問的問題，進行語義理解并輸出相對應的文本答案；

通過構建海量真實教學視頻數據資源庫，為所述虛擬教師的動作生成提供數據和算法支持。

2.如權利要求1所述的基于教學語義的虛擬老師肢體動作生成方法，其特征在于，所述課件窗口具體為教學課件呈現窗口，用于顯示課堂教學所需的課件內容，所述課件內容包括但不限于：文本、照片、幻燈片、動畫、影片、結構圖、流程圖；所述場景物件至少包括教室、報告廳、講臺、會議室教學場景，用于模仿教學環境；所述教學用具均可以與虛擬教師進行互動，至少包括：教鞭、尺子、圓規、地球儀、數學模具、書本、繪本，以及教學內容涉及的抽象物體，用于教學過程中相關教學內容的互動和展示。

3.如權利要求1所述的基于教學語義的虛擬老師肢體動作生成方法，其特征在于，所述通過深度學習、計算機視覺和三維建模技術，構建出在真實或三維建模下的虛擬教師形象，具體為：采用深度合成技術、混合現實技術合成的仿真人物影像或采用三維建模技術構建的三維教師模型完成虛擬課堂教學的教學任務；其中，教學任務包括：

A、根據已經設定好的教案進行演講、行為動作，與教學課件窗口的互動，與教學中需要呈現的物品道具互動；

B、回答學生對于教學內容的提問。

4.如權利要求1所述的基于教學語義的虛擬老師肢體動作生成方法，其特征在于，所述生成出高度逼真的基于虛擬教師形象的連續的發音口型、面部表情和肢體動作之前，還包括：合成虛擬教師的仿真影像，計算出用于驅動三維虛擬教師行為的運動數據。

5.如權利要求1所述的基于教學語義的虛擬老師肢體動作生成方法，其特征在于，所述將目標教學內容的文本數據合成并輸出對應的語音及語義，包括記錄語音的音頻數據和該音頻數據所對應的文本信息，以及該文本信息所對應的語義信息，所述語音的聲音種類包括：男聲、女聲、童聲；其語言種類包括：普通話、各地方言、英式英語、美式英語。

6.如權利要求4所述的基于教學語義的虛擬老師肢體動作生成方法，其特征在于，所述合成虛擬教師的仿真影像，采用GAN技術，以真實視頻為素材，合成帶有指定語音口型的虛擬教師的仿真影像。

7.如權利要求4所述的基于教學語義的虛擬老師肢體動作生成方法，其特征在于，所述用于驅動三維虛擬教師行為的運動數據，包括但不限于在教學任務過程中：教師模型唇形運動數據、教師模型面部表情變化數據、教師模型驅趕四肢運動數據。

8.如權利要求4所述的基于教學語義的虛擬老師肢體動作生成方法，其特征在于，所述合成虛擬教師的仿真影像，具有實時、即時的演算能力，以滿足學生提問即時反饋的功能需求。

9.如權利要求1所述的基于教學語義的虛擬老師肢體動作生成方法，其特征在于，所述通過構建海量真實教學視頻數據資源庫，為所述虛擬教師的動作生成提供數據和算法支持，通過智能識別和三維重建技術提取現實教學中教師上課的影像視頻中教師教學的動作和對應的語音和語料信息。

10.一種基于教學語義的虛擬老師肢體動作生成系統，其特征在于，包括：

虛擬課堂模塊，通過計算機視覺和三維建模技術，構建出在真實或三維建模下的虛擬課堂場景以及課堂教學所涉及的至少課件窗口、場景物件和教學用具；

虛擬教師模塊，通過深度學習、計算機視覺和三維建模技術，構建出在真實或三維建模下的虛擬教師形象；

智能活化模塊，通過深度學習技術，將復雜環境下的至少課堂教學文本、課堂課件、課堂教學用具作為輸入變量，生成出高度逼真的基于虛擬教師形象的連續的發音口型、面部表情和肢體動作；

語音語料模塊，通過語音合成技術、語義識別技術自建教學內容數據庫，將目標教學內容的文本數據合成并輸出對應的語音及語義；

教學問答模塊，通過自然語言工程技術，將學生提問的問題，進行語義理解并輸出相對應的文本答案；

數據輔助模塊，通過構建海量真實教學視頻數據資源庫，為所述虛擬教師的動作生成提供數據和算法支持。