[發明專利]一種多媒體交互教學系統及方法

有效

• 申請號: 201610705328.2
• 申請日: 2016-08-23
• 公開（公告）號: CN106056996B
• 公開（公告）日: 2017-08-29
• 發明（設計）人: 劉佳;盧啟偉
• 申請（專利權）人: 深圳市鷹碩技術有限公司
• 主分類號: G09B5/06
• 分類號: G09B5/06;G09B5/08
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙)11390
• 代理人: 胡劍輝

1.一種多媒體交互教學系統，包括教學控制器(100)、學習終端(103)、錄制設備、語音采集設備(106)和存儲設備(107)，其特征在于：

所述錄制設備，用于獲取實時圖像和動作數據；

所述語音采集設備(106)，用于采集課堂實時語音信息；

所述教學控制器(100)，用于將所述錄制設備和所述語音采集設備(106)采集的教學信息發送給所述學習終端(103)和/或額外設置的用于集中展示的顯示屏(102)；

所述存儲設備(107)，用于將所述錄制設備和所述語音采集設備采集的教學信息存儲起來，用戶可以通過網絡點播回顧課堂教學過程；

所述教學控制器(100)包括說話人分割模塊、說話人聚類模塊、聲紋識別模塊，分別用于對采集的所述語音信息進行說話人分割、說話人聚類和聲紋識別處理，從而提取每個說話人的語音信息，并且根據訓練得到的聲紋模板識別出說話人的身份；

所述說話人分割用于找到說話人切換的轉折點，包括單一轉折點的檢測和多個轉折點的檢測；

所述單一轉折點檢測包括基于距離的順序檢測、交叉檢測和轉折點確認；

所述多個轉折點檢測用于找到整段語音中的多個說話人轉折點，在所述單一轉折點檢測的基礎上完成，步驟如下：

步驟1)：首先設定一較大的時間窗，長度為5-15秒，在窗內作單轉折點檢測；

步驟2)：若在上一步驟沒找到說話人轉折點，則將窗向右移動1-3秒，重復步驟1，直到找到說話人轉折點，或者語音段結束；

步驟3)：若找到說話人轉折點，則記錄此轉折點，并將窗口起始點設到此轉折點上，重復步驟1)-步驟2)。

2.根據權利要求1所述的系統，其特征在于，

所述提取的語音信息添加說話人身份標識和系統統一生成的時間戳標識，形成以說話人身份為標識并且具有時間戳的一系列獨立的語音信息，并且被保存起來。

3.根據權利要求2所述的系統，其特征在于，

用戶在通過網絡點播回顧課堂教學過程時，先通過對說話人的選擇來選擇自己想要聽到的語音，再進行播放。

4.根據權利要求3所述的系統，其特征在于，所述轉折點的確認公式：

sign(·)為符號函數，d_cross為兩條距離曲線交叉處的距離值；

其中，通過利用說話人的距離曲線起始到交叉點的這段區域，公式中的d(i)就是這一端區域內計算出來的距離，若最后結果為正，則接受此點為說話人轉折點；若為負，則拒絕此點為說話人轉折點。

5.根據權利要求1-4之一所述的系統，其特征在于，

所述錄制設備包括教學高拍儀(104)和電子白板(105)，

所述教學高拍儀(104)用于獲取實時圖像并輸出至所述教學控制器(100)，

所述電子白板(105)用于獲取動作數據并輸出至所述教學控制器(100)。

6.根據權利要求5所述的系統，其特征在于，

所述教學高拍儀(104)包括工作臺(1040)和無線傳輸模塊(1045)，

所述工作臺(1040)兩側分別設有臂燈(1041)，

所述無線傳輸模塊(1045)的發射天線設置在至少一個所述臂燈(1041)的非發光的側部上。

7.根據權利要求1-4之一所述的系統，其特征在于，

還包括無線遙控器(101)，用于實現對所述教學控制器(100)的無線控制，

所述無線遙控器(101)包括觸摸屏(1012)、麥克風(1010)、外置話筒插孔(1011)和無線發射模塊(1013)。