[發明專利]基于聲像的在線培訓監視方法

在審

• 申請號: 201710891827.X
• 申請日: 2017-09-27
• 公開（公告）號: CN107809665A
• 公開（公告）日: 2018-03-16
• 發明（設計）人: 紀丹青
• 申請（專利權）人: 鎮江博格信息科技有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/44;H04N21/441
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于聲像的在線培訓監視方法，其特征在于，包括如下步驟：

步驟1.搭建聲像過程跟蹤平臺，設置后臺模塊：

提前通過人臉掃描設備拍攝用戶的面部特征，并與用戶聲明的身份信息綁定；將面部特征分析處理后轉化成圖像數據代碼，并將所述圖像數據代碼存儲到位于在線培訓平臺上的圖像數據代碼數據庫中；提前利用收音設備錄制聲音指令，將聲音指令分析處理后轉化成音頻數據代碼，并將所述音頻數據代碼存儲到位于在線培訓平臺上的音頻數據庫中；

步驟2.進行身份認證：

通過通信網絡接受用戶終端的登錄請求，進行身份認證，同時啟動網絡攝像頭掃描用戶面部信息，傳輸至后臺進行人臉識別，若人臉識別結果成功，可正常開始在線培訓學習，后臺自動調取與該用戶學習內容相關的學習資料；若人臉識別結果未成功，提示用戶未成功并重新掃描；

步驟3.進行過程跟蹤：

在線學習視頻播放過程中隨時啟動網絡攝像頭抓拍用戶面部信息，且在線學習視頻播放過程中啟動收音設備，定時采集用戶的聲音指令，根據定時采集到的聲音指令和面部信息，實現用戶的定位，如聲音指令和面部信息不符，則對用戶做出提醒并暫停播放。

2.根據權利要求1所述基于聲像的在線培訓監視方法，其特征在于：所述步驟2中的人臉識別包括基于靜態圖像的人臉識別和基于視頻圖像的人臉識別。

3.根據權利要求1所述基于聲像的在線培訓監視方法，其特征在于：所述步驟1中將聲音指令分析處理后轉化成音頻數據代碼的方法如下：

（1）將聲音指令進行預處理，即先進行預加重，再進行分幀加窗處理，最后再進行端點檢測；

（2）用Mel頻率的倒譜系數作為語音特征識別孤立詞語語音，最后組合成音頻數據代碼。

4.根據權利要求3所述基于聲像的在線培訓監視方法，其特征在于：所述分幀加窗處理采用Hamming窗。

5.根據權利要求3所述基于聲像的在線培訓監視方法，其特征在于：所述用Mel頻率的倒譜系數作為語音特征識別孤立詞語語音的方法如下：

首先，將預處理后的聲音指令輸入Hamming窗幀選，經過Hamming窗幀選的數據進行傅里葉變換；

然后，將傅里葉變換后的數據以濾波組能量的形式輸出至進行離散余弦變換，最終輸出可識別的音頻數據代碼。