[發明專利]一種遠程教學的提問方法、裝置、提問終端和可讀介質

有效

• 申請號: 202010714405.7
• 申請日: 2020-07-21
• 公開（公告）號: CN111787264B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 李旭誠
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: H04N7/14
• 分類號: H04N7/14;G09B5/08;G09B5/14;H04L29/08
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 范坤坤

1.一種遠程教學的提問方法，其特征在于，包括：

至少根據提問方當前操作的肢體動作，確定所述提問方的當前意圖；

如果所述當前意圖為提問意圖，則識別所述提問方指向當前教學資料的提問內容；

所述至少根據提問方當前操作的肢體動作，確定所述提問方的當前意圖，包括：

獲取預先設置的音頻模塊面向所述提問方實時采集的當前輸入語音，并根據所述當前輸入語音的語音內容確定對應的語音所屬類別；

通過所述語音所屬類別下預先設置的目標攝像模塊獲取對應的肢體圖像，并識別所述肢體圖像，確定所述提問方在所述語音所屬類別下的肢體動作；

根據提問方的當前輸入語音以及在所述當前輸入語音的語音所屬類別下的肢體動作，確定所述提問方的當前意圖。

2.根據權利要求1所述的方法，其特征在于，所述根據提問方的當前輸入語音以及在所述當前輸入語音的語音所屬類別下的肢體動作，確定所述提問方的當前意圖，包括：

根據所述當前輸入語音的語音內容和語音清晰度，確定對應的第一提問置信度；

根據所述當前輸入語音的語音所屬類別下肢體動作的識別準確度，確定對應的第二提問置信度；

融合所述第一提問置信度和所述第二提問置信度，判斷所述提問方的當前意圖是否為提問意圖。

3.根據權利要求1所述的方法，其特征在于，在識別所述提問方指向當前教學資料的提問內容之前，還包括：

如果所述語音所屬類別下的肢體動作中不存在所述提問方的手部指向動作，則向所述提問方發起對應的提問指向提示。

4.根據權利要求1所述的方法，其特征在于，所述識別所述提問方指向當前教學資料的提問內容，包括：

獲取所述提問方指向當前教學資料的手部指向圖像，并識別所述手部指向圖像中被指向的提問內容。

5.根據權利要求1-4任一項所述的方法，其特征在于，在識別所述提問方指向當前教學資料的提問內容之后，還包括：

向答疑方上報所述提問方的身份信息和提問內容。

6.一種遠程教學的提問裝置，其特征在于，包括：

意圖確定模塊，用于至少根據提問方當前操作的肢體動作，確定所述提問方的當前意圖；

提問內容識別模塊，用于如果所述當前意圖為提問意圖，則識別所述提問方指向當前教學資料的提問內容；

輸入語音獲取模塊，用于獲取預先設置的音頻模塊面向所述提問方實時采集的當前輸入語音，并根據所述當前輸入語音的語音內容確定對應的語音所屬類別；

肢體動作識別模塊，用于通過所述語音所屬類別下預先設置的目標攝像模塊獲取對應的肢體圖像，并識別所述肢體圖像，確定所述提問方在所述語音所屬類別下的肢體動作；

所述意圖確定模塊，具體用于：

根據所述提問方的當前輸入語音以及在當前輸入語音的語音所屬類別下的肢體動作，確定所述當前意圖。

7.一種提問終端，其特征在于，所述提問終端包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-5中任一所述的遠程教學的提問方法。

8.一種遠程教學的提問系統，其特征在于，包括如權利要求7所述的提問終端以及分別與所述提問終端通信連接的音頻模塊、第一攝像模塊和第二攝像模塊；其中，

所述音頻模塊用于實時采集提問方的當前輸入語音；

所述第一攝像模塊設置為朝向所述提問方的正面，用于拍攝所述提問方的手臂動作圖像；

所述第二攝像模塊設置為朝向所述提問方指向的當前教學資料，用于拍攝所述提問方指向當前教學資料的手部指向圖像。

9.一種可讀介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-5中任一所述的遠程教學的提問方法。