[發明專利]一種基于音頻指紋的發音評測方法及終端

在審

• 申請號: 202010467723.8
• 申請日: 2020-05-28
• 公開（公告）號: CN111710348A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 劉煥玉;肖龍源;李稀敏;劉曉葳;葉志堅
• 申請（專利權）人: 廈門快商通科技股份有限公司
• 主分類號: G10L25/60
• 分類號: G10L25/60;G10L15/02;G10L17/02;G09B5/04
• 代理公司: 廈門仕誠聯合知識產權代理事務所(普通合伙) 35227
• 代理人: 邱冬新

1.一種基于音頻指紋的發音評測方法，其特征在于，所述方法包括：

收集標準發音音頻，并提取所述標準發音音頻對應的標準發音音頻指紋；

獲取用戶發音音頻，并提取所述用戶發音音頻對應的用戶發音音頻指紋；

將所述標準發音音頻指紋與所述用戶發音音頻指紋進行匹配；

設定評分閾值，若匹配度達到相應的評分閾值，則對所述用戶發音音頻進行發音評分。

2.如權利要求1所述的一種基于音頻指紋的發音評測方法，其特征在于，所述方法還包括：

對所述用戶發音音頻進行發音評分后，當所述發音評分不合格時，將所述標準發音音頻推送至用戶，獲取學習后的發音音頻，并提取所述學習后的發音音頻對應的學習后的發音音頻指紋；

將所述標準發音音頻指紋與所述學習后的發音音頻指紋進行匹配，進一步進行發音評分，直至所述發音評分合格時為止。

3.如權利要求1或2所述的一種基于音頻指紋的發音評測方法，其特征在于，提取所述標準發音音頻指紋或用戶發音音頻指紋包括：

將所述標準發音音頻或所述用戶發音音頻進行分幀加窗處理，對每一個短時分析窗進行快速傅里葉變換，得到對應的頻譜圖；

提取所述頻譜圖中的局部峰值點；

將所述頻譜圖和/或所述峰值點作為所述標準發音音頻指紋或所述用戶發音音頻指紋。

4.如權利要求3所述的一種基于音頻指紋的發音評測方法，其特征在于，將所述標準發音音頻指紋與所述用戶發音音頻指紋進行匹配，具體包括：

將所述峰值點進行分組，得到峰值點組合，并計算每個所述峰值點組合對應的哈希值；

根據所述哈希值，對所述標準發音音頻指紋與所述用戶發音音頻指紋進行匹配。

5.如權利要求4所述的一種基于音頻指紋的發音評測方法，其特征在于，每個所述峰值點組合對應的哈希值的計算過程包括：

所述峰值點組合包括一個錨點和N個所述峰值點，根據所述峰值點的頻率值、所述錨點的頻率值、所述峰值點與所述錨點之間的時間差創建所述峰值點對應的三維數組；

計算所述三維數組的哈希值，作為所述峰值點的哈希值，并建立所述標準發音音頻指紋或所述用戶發音音頻指紋對應的音頻指紋哈希表。

6.如權利要求5所述的一種基于音頻指紋的發音評測方法，其特征在于，根據所述哈希值，對所述標準發音音頻指紋與所述用戶發音音頻指紋進行匹配包括：

對所述標準發音音頻的音頻指紋哈希表中的所有峰值點的哈希值與所述用戶發音音頻的音頻指紋哈希表中的所有峰值點的哈希值進行匹配，并統計兩者能夠匹配的哈希值個數。

7.一種基于音頻指紋的發音評測終端，其特征在于，所述終端包括：

存儲模塊，用于存儲發音評分程序與標準發音音頻；

采集模塊，用于采集用戶發音音頻；

提取模塊，用于提取所述標準發音音頻對應的標準發音音頻指紋與所述用戶發音音頻對應的用戶發音音頻指紋；

評測模塊，用于將所述標準發音音頻指紋與所述用戶發音音頻指紋進行匹配，從而對所述用戶發音音頻進行發音評分；

視聽模塊，用于播放采集到的所述用戶發音音頻與相應的所述標準發音音頻，并顯示發音評分結果。

8.如權利要求7所述的一種基于音頻指紋的發音評測終端，其特征在于，所述提取模塊包括：

音頻轉化模塊，用于將所述標準發音音頻或所述用戶發音音頻進行分幀加窗處理，對每一個短時分析窗進行快速傅里葉變換，得到對應的頻譜圖；

圖像處理模塊，提取所述頻譜圖中的局部峰值點；

哈希值計算模塊，將所述峰值點進行分組，得到峰值點組合，并計算每個所述峰值點組合對應的哈希值，將所述頻譜圖和/或所述峰值點作為所述標準發音音頻指紋或所述用戶發音音頻指紋，并建立所述標準發音音頻指紋或所述用戶發音音頻指紋對應的音頻指紋哈希表。