[發(fā)明專利]一種口型示教系統(tǒng)與示教方法

有效

• 申請?zhí)枺?/td>: 201310742813.3
• 申請日: 2013-12-27
• 公開（公告）號: CN103745423A
• 公開（公告）日: 2014-04-23
• 發(fā)明（設(shè)計）人: 孟濬;黃吉羊;劉瓊
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G06T7/00;G09B5/02
• 代理公司: 浙江杭州金通專利事務(wù)所有限公司 33100
• 代理人: 劉曉春

技術(shù)領(lǐng)域

本發(fā)明涉及一種口型示教系統(tǒng)和示教方法，特別設(shè)計一種基于彈性空間動力學(xué)演化的人體口型示教系統(tǒng)和示教方法。?

背景技術(shù)

口型示教與我們的生活息息相關(guān)，尤其是在語言學(xué)習(xí)的過程中更是極為重要的一環(huán)。無論是對于剛開始學(xué)習(xí)母語的兒童，還是對于廣大學(xué)習(xí)外語的學(xué)生，乃至部分需要學(xué)習(xí)識別唇語的特殊群體，掌握發(fā)音時相對應(yīng)的口型都是非常重要的。當(dāng)前，相關(guān)語言學(xué)習(xí)的培訓(xùn)費用高，且傳統(tǒng)的教學(xué)模式效率相對低下，因此有必要開發(fā)智能高效的口型示教系統(tǒng)。隨著計算機(jī)技術(shù)的發(fā)展和日趨完善，人臉的造型和動畫作為計算機(jī)圖形學(xué)中的一個獨特分支也越來越受到人們的關(guān)注，其中針對視頻、圖像中人體口型的變化更是有廣泛的應(yīng)用。目前現(xiàn)有的口型示教系統(tǒng)中常規(guī)的方法一般都是通過對已有的視頻圖像加以分析處理，建立標(biāo)準(zhǔn)的口型數(shù)據(jù)庫，再針對具體問題進(jìn)行分析匹配。顯然，這樣的技術(shù)手段雖然能夠較為準(zhǔn)確地對視頻和圖像中的人臉口型進(jìn)行重構(gòu)變換，但是它也有一定的局限性。一方面，這個系統(tǒng)必須事先構(gòu)建好龐大的標(biāo)準(zhǔn)口型數(shù)據(jù)庫，需要龐大規(guī)模的口型數(shù)據(jù)樣本；另一方面，匹配算法的實現(xiàn)涉及大量的計算分析，計算復(fù)雜度很高，相對應(yīng)的硬件要求較高，不能較為普遍的應(yīng)用。?

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種高效、便捷、可擴(kuò)展性強的口型示教系統(tǒng)，并給出基于該系統(tǒng)的口型示教方法。傳統(tǒng)的口型示教系統(tǒng)中，所需示教的口型都呈現(xiàn)在他人的臉上。因為不同人的臉部、口部差異較大，這樣的口型示教難以給用戶提供直觀的體驗，教學(xué)效果并不理想。本發(fā)明系統(tǒng)和方法突破了這樣的限制，可以實現(xiàn)所需示教的口型信息在用戶臉部照片上的演化，準(zhǔn)確、高效地生成示教口型視頻，讓所需示教的口型呈現(xiàn)在用戶自己的臉上。同時，本發(fā)明系統(tǒng)和方法還可以根據(jù)用戶的學(xué)習(xí)情況對示教的效果給出評價，以助于用戶改進(jìn)。本發(fā)明所述的口型示教指包括說話、歌唱、唇形模仿在內(nèi)的一切涉及口型變化的教學(xué)。?

本發(fā)明采用的技術(shù)方案如下：?

一種口型示教系統(tǒng)，包括信息輸入模塊、視頻采集模塊、口型變換模塊、對比評價模塊、信息顯示模塊和數(shù)據(jù)存儲模塊，其中：

所述的信息輸入模塊用于錄入用戶信息和每次示教的示教匹配內(nèi)容，所述的用戶信息包括用戶名和用戶臉部照片；

所述的視頻采集模塊用于在示教前采集樣例口型視頻以及在示教過程中采集用戶的模仿口型視頻；?

所述的口型變換模塊用于根據(jù)用戶臉部照片對每次采集到的樣例口型視頻進(jìn)行基于環(huán)形彈性空間的動力學(xué)時間演化，生成示教口型視頻；

所述的對比評價模塊用于將示教過程中用戶的模仿口型視頻和樣例口型視頻進(jìn)行基于環(huán)形彈性空間的動力學(xué)時間分析，得出對比評價結(jié)果，所述的對比評價結(jié)果包括用戶學(xué)習(xí)效果評價和改進(jìn)建議，可以是文字或圖片或文字和圖片的組合；

所述的信息顯示模塊用于實時顯示示教過程中的所有信息，包括用戶信息、每次示教的示教匹配內(nèi)容、示教口型視頻和對比評價結(jié)果；

所述的數(shù)據(jù)存儲模塊用于存儲用戶數(shù)據(jù)，所述的用戶數(shù)據(jù)包括用戶信息、每次示教的示教匹配內(nèi)容、樣例口型視頻、模仿口型視頻、示教口型視頻和對比評價結(jié)果。

本發(fā)明的口型示教系統(tǒng)可以運用基于環(huán)形彈性空間的動力學(xué)時間演化將所需示教的口型信息反演在用戶自己的臉部照片上，準(zhǔn)確、高效地生成示教口型視頻以供示教。此外，本發(fā)明系統(tǒng)還能錄入用戶學(xué)習(xí)時的模仿口型視頻和示教口型視頻進(jìn)行基于環(huán)形彈性空間的動力學(xué)時間分析，給出對示教效果的評價和建議，以助于用戶改進(jìn)。?

各個模塊的連接方式如圖1所示。其中，所述的信息輸入模塊與數(shù)據(jù)存儲模塊之間、視頻采集模塊與數(shù)據(jù)存儲模塊之間、口型變換模塊與數(shù)據(jù)存儲模塊之間、信息顯示模塊與視頻采集模塊之間、信息顯示模塊和數(shù)據(jù)存儲模塊之間、對比評價模塊和數(shù)據(jù)存儲模塊之間、對比評價模塊和信息顯示模塊之間可部分或全部通過有線或無線方式進(jìn)行連接，以保證數(shù)據(jù)的有效傳輸。可以根據(jù)實際需要，全部采用有線方式連接，全部采用無線方式連接，或部分采用有線方式連接、部分采用無線方式連接。?

所述的示教匹配內(nèi)容是與待示教的口型圖像信息相匹配的文字信息，用于在實時示教過程中顯示給用戶進(jìn)行參照。例如，針對一篇文章進(jìn)行口型示教時，示教匹配內(nèi)容即為該文章的文字信息。?

所述的樣例口型視頻為每次示教中作為標(biāo)準(zhǔn)進(jìn)行示教的他人的口型視頻。?

所述的示教口型視頻為每次示教中實時顯示在信息顯示模塊用以示教的口型視頻，由口型變換模塊利用樣例口型視頻在用戶臉部照片的基礎(chǔ)上通過基于環(huán)形彈性空間的動力學(xué)時間演化生成。?