[發(fā)明專利]一種基于深度學習的口語評測方法

在審

• 申請?zhí)枺?/td>: 202011092231.1
• 申請日: 2020-10-13
• 公開（公告）號: CN112163547A
• 公開（公告）日: 2021-01-01
• 發(fā)明（設(shè)計）人: 霍雨佳;左欣
• 申請（專利權(quán)）人: 霍雨佳
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F16/75;G06F16/783;G10L25/51
• 代理公司: 西安合創(chuàng)非凡知識產(chǎn)權(quán)代理事務所(普通合伙) 61248
• 代理人: 于波

1.一種基于深度學習的口語評測方法，其特征在于，包括如下步驟：

S1、基于單詞庫構(gòu)建單詞標準發(fā)音數(shù)據(jù)集和單詞標準口型圖像數(shù)據(jù)集；

S2、基于單詞標準發(fā)音數(shù)據(jù)集和單詞標準口型圖像數(shù)據(jù)集分別訓練構(gòu)建音頻測評模型和口型測評模型；

S3、實現(xiàn)待測評音頻數(shù)據(jù)及其對應的口型圖像數(shù)據(jù)的采集；

S4、基于音頻測評模型、口型測評模型分別實現(xiàn)音頻數(shù)據(jù)和口型圖像數(shù)據(jù)的測評，輸出測評結(jié)果。

2.如權(quán)利要求1所述的一種基于深度學習的口語評測方法，其特征在于，所述步驟S1中，基于單詞庫通過網(wǎng)絡(luò)爬蟲模塊在預設(shè)的網(wǎng)絡(luò)基站上爬取對應單詞的標準發(fā)音數(shù)據(jù)，實現(xiàn)單詞標準發(fā)音數(shù)據(jù)集的構(gòu)建。

3.如權(quán)利要求1所述的一種基于深度學習的口語評測方法，其特征在于，所述步驟S1中，基于單詞庫通過網(wǎng)絡(luò)爬蟲模塊在預設(shè)的網(wǎng)絡(luò)基站上爬取對應單詞的標準發(fā)音視頻，調(diào)用視頻取幀腳本，每隔一定幀數(shù)獲取一張圖像，實現(xiàn)單詞標準口型圖像數(shù)據(jù)集的構(gòu)建。

4.如權(quán)利要求1所述的一種基于深度學習的口語評測方法，其特征在于，所述步驟S2中，所述音頻測評模型采用 Inception_V3模型，所述口型測評模型采用Dssd Inception_V3模型。

5.如權(quán)利要求1所述的一種基于深度學習的口語評測方法，其特征在于，所述步驟S2中，首先錄入待測評口語數(shù)據(jù)文本信息，基于數(shù)據(jù)挖掘模塊根據(jù)錄入的待測評口語數(shù)據(jù)文本信息在單詞標準發(fā)音數(shù)據(jù)集和單詞標準口型圖像數(shù)據(jù)集中挖掘?qū)膯卧獦藴拾l(fā)音數(shù)據(jù)和單詞標準口型圖像數(shù)據(jù)，然后基于挖掘到的單元標準發(fā)音數(shù)據(jù)和單詞標準口型圖像數(shù)據(jù)分別訓練構(gòu)建音頻測評模型和口型測評模型。

6.如權(quán)利要求1所述的一種基于深度學習的口語評測方法，其特征在于，所述步驟S3中，基于視頻錄制的方式實現(xiàn)待測評音頻數(shù)據(jù)及其對應的口型圖像數(shù)據(jù)的采集，視頻錄制完成后，自動生成對應的測評音頻數(shù)據(jù)和口型圖像數(shù)據(jù)。

7.如權(quán)利要求1所述的一種基于深度學習的口語評測方法，其特征在于，所述測評結(jié)果以EXCEL的形式反饋，每一個單詞均配置一條評估記錄，每一條評估記錄均包括單詞數(shù)據(jù)、標準發(fā)音數(shù)據(jù)、用戶發(fā)音數(shù)據(jù)、標準發(fā)音口型圖像數(shù)據(jù)、用戶發(fā)音口型圖像數(shù)據(jù)、發(fā)音評估結(jié)果數(shù)據(jù)及發(fā)音口型評估結(jié)果數(shù)據(jù)。