[發明專利]一種基于深度學習的口語評測方法

在審

• 申請號: 202011092231.1
• 申請日: 2020-10-13
• 公開（公告）號: CN112163547A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 霍雨佳;左欣
• 申請（專利權）人: 霍雨佳
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F16/75;G06F16/783;G10L25/51
• 代理公司: 西安合創非凡知識產權代理事務所(普通合伙) 61248
• 代理人: 于波

本發明涉及口語訓練領域，具體涉及一種基于深度學習的口語評測方法，包括如下步驟：S1、基于單詞庫構建單詞標準發音數據集和單詞標準口型圖像數據集；S2、基于單詞標準發音數據集和單詞標準口型圖像數據集分別訓練構建音頻測評模型和口型測評模型；S3、實現待測評音頻數據及其對應的口型圖像數據的采集；S4、基于音頻測評模型、口型測評模型分別實現音頻數據和口型圖像數據的測評，輸出測評結果。本發明在可以降低系統數據計算量的同時，可以提高測評結果的精確度。

技術領域

本發明涉及口語訓練領域，具體涉及一種基于深度學習的口語評測方法。

背景技術

口語測評是檢驗語言學習的一個重要的環節。如何通過口語測評正確的引導學生進行語言學習，以提升學生口語發音的準確性，是語言學習過程中的熱點問題。

目前，現有的口語評測系統普遍采用既有的語音識別模型實現口語的測評，容易存在測評漏洞；同時，由于既有語音識別模型的數據訓練集龐大，因此，在進行測評時，模型所面臨的數據計算量會很大，在容易降低測量精確度的同時，很容易出現系統故障的問題。再則，由于既有的語音識別模型是僅采用音頻數據訓練的，并未考慮到口語發音過程中的口型問題，一定程度又降低了測評結果的精確度。

發明內容

為解決上述問題，本發明提供了一種基于深度學習的口語評測方法，在可以降低系統數據計算量的同時，可以提高測評結果的精確度。

為實現上述目的，本發明采取的技術方案為：

一種基于深度學習的口語評測方法，包括如下步驟：

S1、基于單詞庫構建單詞標準發音數據集和單詞標準口型圖像數據集；

S2、基于單詞標準發音數據集和單詞標準口型圖像數據集分別訓練構建音頻測評模型和口型測評模型；

S3、實現待測評音頻數據及其對應的口型圖像數據的采集；

S4、基于音頻測評模型、口型測評模型分別實現音頻數據和口型圖像數據的測評，輸出測評結果。

進一步地，所述步驟S1中，基于單詞庫通過網絡爬蟲模塊在預設的網絡基站上爬取對應單詞的標準發音數據，實現單詞標準發音數據集的構建。

進一步地，所述步驟S1中，基于單詞庫通過網絡爬蟲模塊在預設的網絡基站上爬取對應單詞的標準發音視頻，調用視頻取幀腳本，每隔一定幀數獲取一張圖像，實現單詞標準口型圖像數據集的構建。

進一步地，所述步驟S2中，所述音頻測評模型采用Inception_V3模型，所述口型測評模型采用Dssd Inception_V3模型。

進一步地，所述步驟S2中，首先錄入待測評口語數據文本信息，基于數據挖掘模塊根據錄入的待測評口語數據文本信息在單詞標準發音數據集和單詞標準口型圖像數據集中挖掘對應的單元標準發音數據和單詞標準口型圖像數據，然后基于挖掘到的單元標準發音數據和單詞標準口型圖像數據分別訓練構建音頻測評模型和口型測評模型。

進一步地，所述步驟S3中，基于視頻錄制的方式實現待測評音頻數據及其對應的口型圖像數據的采集，視頻錄制完成后，自動生成對應的測評音頻數據和口型圖像數據。

進一步地，所述測評結果以EXCEL的形式反饋，每一個單詞均配置一條評估記錄，每一條評估記錄均包括單詞數據、標準發音數據、用戶發音數據、標準發音口型圖像數據、用戶發音口型圖像數據、發音評估結果數據及發音口型評估結果數據。

本發明具有以下有益效果：

1）在考慮口語發音參數的同時，引入了口型參數的測評，在可以提高測評結果的精確度的同時，使得學生可以更加直觀的了解自己的口語發音問題。