[發(fā)明專利]一種口型示教系統(tǒng)與示教方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310742813.3
• 申請(qǐng)日: 2013-12-27
• 公開(kāi)（公告）號(hào): CN103745423A
• 公開(kāi)（公告）日: 2014-04-23
• 發(fā)明（設(shè)計(jì)）人: 孟濬;黃吉羊;劉瓊
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06Q50/20
• 分類號(hào): G06Q50/20;G06T7/00;G09B5/02
• 代理公司: 浙江杭州金通專利事務(wù)所有限公司 33100
• 代理人: 劉曉春

1.一種口型示教系統(tǒng)，其特征在于：所示的口型示教系統(tǒng)包括信息輸入模塊、視頻采集模塊、口型變換模塊、對(duì)比評(píng)價(jià)模塊、信息顯示模塊和數(shù)據(jù)存儲(chǔ)模塊，其中：

所述的信息輸入模塊用于錄入用戶信息和每次示教的示教匹配內(nèi)容，所述的用戶信息包括用戶名和用戶臉部照片；

所述的視頻采集模塊用于在示教前采集樣例口型視頻以及在示教過(guò)程中采集用戶的模仿口型視頻；?

所述的口型變換模塊用于根據(jù)用戶臉部照片對(duì)每次采集到的樣例口型視頻進(jìn)行基于環(huán)形彈性空間的動(dòng)力學(xué)時(shí)間演化，生成示教口型視頻；

所述的對(duì)比評(píng)價(jià)模塊用于將示教過(guò)程中用戶的模仿口型視頻和樣例口型視頻進(jìn)行基于環(huán)形彈性空間的動(dòng)力學(xué)時(shí)間分析，得出對(duì)比評(píng)價(jià)結(jié)果，所述的對(duì)比評(píng)價(jià)結(jié)果包括用戶學(xué)習(xí)效果評(píng)價(jià)和改進(jìn)建議，為文字或圖片或文字和圖片的組合；

所述的信息顯示模塊用于實(shí)時(shí)顯示示教過(guò)程中的所有信息，包括用戶信息、每次示教的示教匹配內(nèi)容、示教口型視頻和對(duì)比評(píng)價(jià)結(jié)果；

所述的數(shù)據(jù)存儲(chǔ)模塊用于存儲(chǔ)用戶數(shù)據(jù)，所述的用戶數(shù)據(jù)包括用戶信息、每次示教的示教匹配內(nèi)容、樣例口型視頻、模仿口型視頻、示教口型視頻和對(duì)比評(píng)價(jià)結(jié)果。

2.根據(jù)權(quán)利要求1所述的口型示教系統(tǒng)，其特征在于：所述的視頻采集模塊為具有攝像功能的終端。

3.根據(jù)權(quán)利要求2所述的口型示教系統(tǒng)，其特征在于：所述的具有攝像功能的終端選自攝像機(jī)、照相機(jī)、攝像頭、數(shù)字化圖像設(shè)備、智能終端的任意一種或任意多種。

4.根據(jù)權(quán)利要求1所述的口型示教系統(tǒng)，其特征在于：所述的口型變換模塊為具有視頻圖像處理和信息分析能力的終端。

5.根據(jù)權(quán)利要求1所述的口型示教系統(tǒng)，其特征在于：所述的對(duì)比評(píng)價(jià)模塊為具有視頻圖像處理和信息分析能力的終端。

6.根據(jù)權(quán)利要求1所述的人體口型視頻重構(gòu)系統(tǒng)，其特征在于：所述的信息顯示模塊選自顯示器、顯示屏、投影儀、智能終端的任意一種或任意多種。

7.根據(jù)權(quán)利要求1所述的口型示教系統(tǒng)，其特征在于：所述的口型示教系統(tǒng)為至少一臺(tái)具有攝像功能的臺(tái)式電腦、筆記本電腦或移動(dòng)智能終端。

8.根據(jù)權(quán)利要求1所述的口型示教系統(tǒng)，其特征在于：所述的口型示教系統(tǒng)為一臺(tái)智能手機(jī)。

9.根據(jù)權(quán)利要求1所述的口型示教系統(tǒng)的示教方法，其特征在于包括以下步驟：

(1)用戶選擇：根據(jù)用戶名在數(shù)據(jù)存儲(chǔ)模塊中選擇本次示教的對(duì)象，若本次示教的對(duì)象為數(shù)據(jù)存儲(chǔ)模塊中已經(jīng)錄入的用戶，則直接進(jìn)行選擇；若本次示教的對(duì)象為數(shù)據(jù)存儲(chǔ)模塊中尚未錄入的用戶，則通過(guò)信息輸入模塊錄入其用戶信息再進(jìn)行選擇，所述的用戶信息包括用戶名和用戶臉部照片；

(2)樣例選取：若本次示教的樣例口型視頻和示教匹配內(nèi)容已經(jīng)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)模塊中該用戶名下，則直接選取已存儲(chǔ)的樣例口型視頻和示教匹配內(nèi)容；若本次示教的樣例口型視頻和示教匹配內(nèi)容沒(méi)有包含在數(shù)據(jù)存儲(chǔ)模塊該用戶名下，則通過(guò)視頻采集模塊采集本次示教的樣例口型視頻，通過(guò)信息輸入模塊讀入本次示教的示教匹配內(nèi)容，并且將本次示教的樣例口型視頻和示教匹配內(nèi)容存入數(shù)據(jù)存儲(chǔ)模塊中該用戶名下，然后選取存入的樣例口型視頻和示教匹配內(nèi)容；

(3)口型變換：口型變換模塊調(diào)用步驟(2)中選取的樣例口型視頻，基于用戶臉部照片進(jìn)行基于環(huán)形彈性空間的動(dòng)力學(xué)時(shí)間演化，實(shí)現(xiàn)樣例口型在用戶臉部照片上的視頻反演，生成示教口型視頻；

(4)實(shí)時(shí)示教：信息顯示模塊實(shí)時(shí)顯示步驟(3)生成的示教口型視頻和步驟(2)選取的示教匹配內(nèi)容進(jìn)行示教，用戶根據(jù)信息顯示模塊顯示的內(nèi)容進(jìn)行模仿學(xué)習(xí)，同時(shí)，視頻采集模塊采集用戶的模仿口型視頻，直至示教結(jié)束；

(5)效果評(píng)估：對(duì)比評(píng)價(jià)模塊根據(jù)示教口型視頻和示教過(guò)程中錄入的用戶模仿口型視頻，通過(guò)基于環(huán)形彈性空間的動(dòng)力學(xué)時(shí)間分析得出對(duì)比評(píng)價(jià)結(jié)果反饋給用戶，所述的對(duì)比評(píng)價(jià)結(jié)果包括用戶學(xué)習(xí)效果評(píng)價(jià)和改進(jìn)建議，為文字或圖片或文字和圖片的組合。

10.根據(jù)權(quán)利要求8所述的口型示教系統(tǒng)的示教方法，其特征在于包括以下步驟：

(1)用戶選擇：根據(jù)用戶名在智能手機(jī)存儲(chǔ)單元中選擇本次示教的對(duì)象，若本次示教的對(duì)象為智能手機(jī)存儲(chǔ)單元中已經(jīng)錄入的用戶，則直接進(jìn)行選擇；若本次示教的對(duì)象為智能手機(jī)存儲(chǔ)單元中尚未錄入的用戶，則通過(guò)智能手機(jī)觸摸屏和攝像頭錄入其用戶信息再進(jìn)行選擇，所述的用戶信息包括用戶名和用戶臉部照片；

(2)樣例選取：若本次示教的樣例口型視頻和示教匹配內(nèi)容已經(jīng)存儲(chǔ)在智能手機(jī)存儲(chǔ)單元中該用戶名下，則直接選取已存儲(chǔ)的樣例口型視頻和示教匹配內(nèi)容；若本次示教的樣例口型視頻和示教匹配內(nèi)容沒(méi)有包含在智能手機(jī)存儲(chǔ)單元該用戶名下，則通過(guò)智能手機(jī)攝像頭采集本次示教的樣例口型視頻，通過(guò)智能手機(jī)觸摸屏或其他輸入設(shè)備讀入本次示教的示教匹配內(nèi)容，并且將本次示教的樣例口型視頻和示教匹配內(nèi)容存入智能手機(jī)存儲(chǔ)單元中該用戶名下，然后選取存入的樣例口型視頻和示教匹配內(nèi)容；

(3)口型變換：智能手機(jī)處理器調(diào)用步驟(2)中選取的樣例口型視頻，基于用戶臉部照片進(jìn)行基于環(huán)形彈性空間的動(dòng)力學(xué)時(shí)間演化，實(shí)現(xiàn)樣例口型在用戶臉部照片上的視頻反演，生成示教口型視頻；

(4)實(shí)時(shí)示教：智能手機(jī)顯示屏實(shí)時(shí)顯示步驟(3)生成的示教口型視頻和步驟(2)選取的示教匹配內(nèi)容進(jìn)行示教，用戶根據(jù)智能手機(jī)顯示屏顯示的內(nèi)容進(jìn)行模仿學(xué)習(xí)，同時(shí)，智能手機(jī)攝像頭采集用戶的模仿口型視頻，直至示教結(jié)束；

(5)效果評(píng)估：智能手機(jī)處理器根據(jù)示教口型視頻和示教過(guò)程中錄入的用戶模仿口型視頻，通過(guò)基于環(huán)形彈性空間的動(dòng)力學(xué)時(shí)間分析得出對(duì)比評(píng)價(jià)結(jié)果反饋給用戶，所述的對(duì)比評(píng)價(jià)結(jié)果包括用戶學(xué)習(xí)效果評(píng)價(jià)和改進(jìn)建議，為文字或圖片或文字和圖片的組合。