[發明專利]一種基于人工智能的英語發音自檢方法和自檢系統

在審

• 申請號: 202010826108.1
• 申請日: 2020-08-17
• 公開（公告）號: CN111950480A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 劉翠翠;李彬卓
• 申請（專利權）人: 劉翠翠
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/38;G06K9/62;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于人工智能的英語發音自檢方法，其特征在于，包括如下步驟：

步驟一：采集人員在各音節標準發音時的面部圖像，得到人員在各音節標準發音過程中各面部圖像中的關鍵點序列和檢測角序列；

所述面部圖像中的關鍵點包括兩個嘴角、上嘴唇頂點、下嘴唇定點和鼻尖；兩個嘴角連線的中點與鼻尖點構成參考向量；上嘴唇的頂點和下嘴唇的頂點構成動作向量，所述檢測角為參考向量和動作向量的夾角；

步驟二：建立姿態預測神經網絡，以人員在標準發音過程中各面部圖像的關鍵點序列為輸入，以對應的檢測角序列為輸出，對姿態預測神經網絡進行訓練，得到訓練后的姿態神經網絡；

步驟三：在用戶發音過程中采集其面部圖像，得到其發音過程中各面部圖像的關鍵點序列，將該關鍵點序列輸入到訓練后的姿態神經網絡中，得到其檢測角序列，將與其相似度最高的檢測角序列所對應的音節作為用戶所發出的音節。

2.根據權利要求1所述的基于人工智能的用于發音自檢方法，其特征在于，獲取面部圖像中關鍵點坐標的方法為：

獲取發音過程中的面部圖像，包括面部的RGB圖像和深度圖像；

將面部的RGB圖像輸入到訓練后的關鍵點定位神經網絡中，得到面部圖像中各關鍵點的二維坐標；

獲取各關鍵點在深度圖像中的深度值，將深度值作為對應關鍵點的第三軸坐標，將其與對應關鍵點的二維坐標相結合，得到各關鍵點的三維坐標。

3.根據權利要求2所述的基于人工智能的用于發音自檢方法，其特征在于，獲取面部的深度圖像后首先對其進行中值濾波，然后將其轉換為灰度圖像。

4.根據權利要求1所述的基于人工智能的英語發音自檢方法，其特征在于，計算兩個檢測角相似度的方法為：

比較兩個檢測角序列中對應時刻檢測角度值的相似度；

判斷各時刻檢測角度值的相似度是否均大于相應的設定相似度，如果大于，則判斷為兩個檢測角序列的相似度最高；

設兩個檢測角序列中，相同時刻的檢測角度值分別為α1和α2，則兩者之間的相似度為：P＝1-(α1-α2)/α1。

5.根據權利要求1所述的基于人工智能的英語發音自檢方法，其特征在于，如果有面部圖像中的關鍵點不能被檢測到，則將該面部圖像前一時刻和后一時刻面部圖像中相應關鍵點位置的中點該面部圖像中的關鍵點。

6.一種基于人工智能的英語發音自檢系統，包括處理器和存儲器，存儲器上存儲有用于在處理器上執行的計算機程序；其特征在于，所述處理器執行所述計算機程序時，實現如下基于人工智能的英語發音自檢方法：

步驟一：采集人員在各音節標準發音時的面部圖像，得到人員在各音節標準發音過程中各面部圖像中的關鍵點序列和檢測角序列；

所述面部圖像中的關鍵點包括兩個嘴角、上嘴唇頂點、下嘴唇定點和鼻尖；兩個嘴角連線的中點與鼻尖點構成參考向量；上嘴唇的頂點和下嘴唇的頂點構成動作向量，所述檢測角為參考向量和動作向量的夾角；

步驟二：建立姿態預測神經網絡，以人員在標準發音過程中各面部圖像的關鍵點序列為輸入，以對應的檢測角序列為輸出，對姿態預測神經網絡進行訓練，得到訓練后的姿態神經網絡；

步驟三：在用戶發音過程中采集其面部圖像，得到其發音過程中各面部圖像的關鍵點序列，將該關鍵點序列輸入到訓練后的姿態神經網絡中，得到其檢測角序列，將與其相似度最高的檢測角序列所對應的音節作為用戶所發出的音節。

7.根據權利要求6所述的基于人工智能的用于發音自檢系統，其特征在于，獲取面部圖像中關鍵點坐標的方法為：

獲取發音過程中的面部圖像，包括面部的RGB圖像和深度圖像；

將面部的RGB圖像輸入到訓練后的關鍵點定位神經網絡中，得到面部圖像中各關鍵點的二維坐標；

獲取各關鍵點在深度圖像中的深度值，將深度值作為對應關鍵點的第三軸坐標，將其與對應關鍵點的二維坐標相結合，得到各關鍵點的三維坐標。

8.根據權利要求7所述的基于人工智能的用于發音自檢系統，其特征在于，獲取面部的深度凸顯后首先對其進行中值濾波，然后將其轉換為灰度圖像。