[發(fā)明專利]基于智能機(jī)器人的演講場景監(jiān)控方法及裝置

有效

• 申請?zhí)枺?/td>: 201710192637.9
• 申請日: 2017-03-28
• 公開（公告）號(hào): CN106997243B
• 公開（公告）日: 2019-11-08
• 發(fā)明（設(shè)計(jì)）人: 許豪勁
• 申請（專利權(quán)）人: 北京光年無限科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F16/783;G06K9/00;G10L25/51
• 代理公司: 北京聿華聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11611
• 代理人: 張文娟;朱繪

1.一種基于智能機(jī)器人的演講場景監(jiān)控方法，該方法包括：

獲取用戶在虛擬演講場景下進(jìn)行演講的多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)至少包括語音數(shù)據(jù)；

對用戶進(jìn)行演講的多模態(tài)數(shù)據(jù)進(jìn)行解析；

利用基于深度學(xué)習(xí)算法特定的演講深度模型，獲取對應(yīng)所述語音數(shù)據(jù)的文本的演講規(guī)范數(shù)據(jù)群，所述演講規(guī)范數(shù)據(jù)群為集合了具有指導(dǎo)性的演講示范性數(shù)據(jù)；

根據(jù)預(yù)設(shè)的演講元素，比對解析結(jié)果與確定的演講規(guī)范數(shù)據(jù)群；

根據(jù)比對結(jié)果輸出用于指導(dǎo)用戶演講的多模態(tài)輸出數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述多模態(tài)數(shù)據(jù)包括用戶在虛擬演講場景下進(jìn)行演講的語音信息，基于所述語音信息，通過比對判斷所述用戶的語音、語調(diào)和停頓時(shí)間是否符合設(shè)定規(guī)則。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述多模態(tài)數(shù)據(jù)包括用戶在虛擬演講場景下進(jìn)行演講的圖像信息，基于所述圖像信息，通過比對判斷用戶的面部表情和姿態(tài)是否符合設(shè)定規(guī)則。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

根據(jù)解析結(jié)果提取出用戶的演講內(nèi)容，提供與所述用戶的演講內(nèi)容相關(guān)聯(lián)的視頻信息，以指導(dǎo)用戶的演講，

或者，

由智能機(jī)器人提供與所述用戶的演講內(nèi)容相關(guān)聯(lián)的虛擬機(jī)器人演示數(shù)據(jù)。

5.根據(jù)權(quán)利要求1～4任一項(xiàng)所述的方法，其特征在于，

所述方法通過配置有演講APP的智能機(jī)器人實(shí)現(xiàn)，所述機(jī)器人裝載有機(jī)器人操作系統(tǒng)，所述虛擬演講場景通過AR/VR設(shè)備產(chǎn)生，所述AR/VR設(shè)備與所述智能機(jī)器人的演講APP協(xié)同運(yùn)行，或者，在AR/VR設(shè)備中，提供與所述用戶的演講內(nèi)容相關(guān)聯(lián)的虛擬機(jī)器人演示數(shù)據(jù)。

6.一種演講場景監(jiān)控裝置，該裝置包括：

演講數(shù)據(jù)獲取模塊，其獲取用戶在虛擬演講場景下進(jìn)行演講的多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)至少包括語音數(shù)據(jù)；

一個(gè)或多個(gè)處理器；

編碼在一個(gè)或多個(gè)有形介質(zhì)中用于由所述一個(gè)或多個(gè)處理器執(zhí)行的邏輯，并且所述邏輯在被執(zhí)行時(shí)用于執(zhí)行如下操作：對用戶進(jìn)行演講的多模態(tài)數(shù)據(jù)進(jìn)行解析；利用基于深度學(xué)習(xí)算法特定的演講深度模型，獲取對應(yīng)所述語音數(shù)據(jù)的文本的演講規(guī)范數(shù)據(jù)群，所述演講規(guī)范數(shù)據(jù)群為集合了具有指導(dǎo)性的演講示范性數(shù)據(jù)；根據(jù)預(yù)設(shè)的演講元素，比對解析結(jié)果與確定的演講規(guī)范數(shù)據(jù)群；以及根據(jù)比對結(jié)果輸出用于指導(dǎo)用戶演講的多模態(tài)輸出數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，

所述多模態(tài)數(shù)據(jù)包括用戶在虛擬演講場景下進(jìn)行演講的語音信息，

所述邏輯在被執(zhí)行時(shí)進(jìn)一步用于執(zhí)行如下操作：基于所述語音信息，通過比對判斷所述用戶的語音、語調(diào)和停頓時(shí)間是否符合設(shè)定規(guī)則。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，

所述多模態(tài)數(shù)據(jù)包括用戶在虛擬演講場景下進(jìn)行演講的圖像信息，

所述邏輯在被執(zhí)行時(shí)進(jìn)一步用于執(zhí)行如下操作：基于所述圖像信息，通過比對判斷用戶的面部表情和姿態(tài)是否符合設(shè)定規(guī)則。

9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括演講視頻輸出模塊，其根據(jù)解析結(jié)果提取出用戶的演講內(nèi)容，提供與所述用戶的演講內(nèi)容相關(guān)聯(lián)的視頻信息，以指導(dǎo)用戶的演講，或者，

所述邏輯在被執(zhí)行時(shí)進(jìn)一步用于執(zhí)行如下操作：根據(jù)解析結(jié)果提取出用戶的演講內(nèi)容，提供與所述用戶的演講內(nèi)容相關(guān)聯(lián)的虛擬機(jī)器人演示數(shù)據(jù)。

10.根據(jù)權(quán)利要求6～9任一項(xiàng)所述的裝置，其特征在于，

所述裝置通過配置有演講APP的智能機(jī)器人實(shí)現(xiàn)，所述機(jī)器人裝載有機(jī)器人操作系統(tǒng)，所述虛擬演講場景通過AR/VR設(shè)備產(chǎn)生，所述AR/VR設(shè)備與所述智能機(jī)器人的演講APP協(xié)同運(yùn)行，或者，在AR/VR設(shè)備中，提供與所述用戶的演講內(nèi)容相關(guān)聯(lián)的虛擬機(jī)器人演示數(shù)據(jù)。