[發明專利]基于人臉識別的表情判斷語音識別方法、服務器及空調

在審

• 申請號: 202011288158.5
• 申請日: 2020-11-17
• 公開（公告）號: CN112687260A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 汪進;文皓;李保水;劉健軍
• 申請（專利權）人: 珠海格力電器股份有限公司
• 主分類號: G10L15/01
• 分類號: G10L15/01;G10L15/16;G10L15/22;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州市時代知識產權代理事務所(普通合伙) 44438
• 代理人: 楊少鵬

本發明屬于語音識別技術領域，公開了一種基于人臉識別的表情判斷語音識別方法、服務器及空調，空調通過攝像頭實時讀取用戶人臉信息；當用戶進行語音輸入后空調進行播報反饋時，空調識別用戶表情；基于用戶表情判斷此次語義理解是否有誤，如有誤，保存此段對話音頻和語義至數據庫中，空調會繼續讓用戶再次提問或者再次讓用戶執行指令；基于數據庫的大數據分析，判斷出交互需求誤差較大的語音，對所述交互進行分析調整。本發明采用神經網路的人臉識別與語音結合的方式，判斷空調在解析用戶命令時是否理解到了真正意圖，記錄用戶表情進行大數據分析，方便開發人員進行修正迭代，使空調產品更加智能化。

技術領域

本發明屬于語音識別技術領域，尤其涉及一種基于人臉識別的表情判斷語音識別方法、服務器及空調。

背景技術

目前，空調通過攝像頭實時進行圖像人臉識別處理辨別用戶表情的方法，以及空調通過語音實現人機交互的技術已趨于成熟。為提高識別準確性，空調通常使用語義解析對翻譯出來的文本進一步理解意圖，但無法判斷理解的用戶的真正意圖是否正確。因此，亟需一種新的基于人臉識別的表情判斷語音識別準確性提高方法。

通過上述分析，現有技術存在的問題及缺陷為：現有空調無法判斷理解的用戶的真正意圖是否正確。造成判斷效果差，準確率低。

發明內容

針對現有技術存在的問題，本發明提供了一種基于人臉識別的表情判斷語音識別方法、服務器及空調。

本發明是這樣實現的，一種基于人臉識別的表情判斷語音識別準確性提高方法，所述基于人臉識別的表情判斷語音識別準確性提高方法包括以下步驟：

步驟一，用戶進行語音輸入，空調檢測并采集用戶輸入的語音需求；當用戶進行語音輸入后，空調解析語義，并根據語義進行播報反饋；

步驟二，空調通過攝像頭實時讀取用戶人臉信息，并對實時拍攝的當前用戶畫面進行預處理；通過與人臉庫進行相似度檢索，分析并識別用戶表情；

步驟三，基于用戶表情判斷語義理解是否有誤；如有誤，保存此段對話音頻和語義至數據庫中，空調會繼續讓用戶再次提問或者再次讓用戶執行指令；

步驟四，基于數據庫的大數據分析，判斷出交互需求誤差較大的語音，對所述交互進行分析調整。

進一步，步驟二中，所述用戶表情的識別方法，包括：

根據人臉識別主干網絡，通過不同表情進行訓練得到不同表情識別的模型；

基于深度學習的人臉表情實時檢測技術，通過攝像頭實時讀取空調回答完用戶指令時讀取用戶人臉；經過表情模型識別得到用戶的真正的用戶情緒，通過人臉識別用戶的表情來判斷空調是否答對。

表情模型采用基于人臉識別模型基礎，然后用不同人臉表情圖像數據進行訓練得到表情識別模型

進一步，所述人臉識別主干網絡采用MobileNet V3，并將殘差網絡ResNet思想加入到主干網絡；采用MobileNet V3移動端網絡提取主干網絡layer中3、5、7層的特征信息圖片，對提取出來特征信息圖片中特征區域進行BatchNorm2d；然后對不同目標特征anchor進行歸一化，期間有pool流程；最后把預測到圖片與已知帶有灰塵區域圖片進行對比并計算分類損失函數和回歸損失函數(采用cicle loss(采用曠視提出的算法)和線性回歸損失函數)。

其中，歸一化和池化就是采用傳統的歸一化和池化算法。

進一步，所述用戶表情的識別方法，還包括：

在訓練過程中提取模型中每一層layer的parameters并判斷是否可梯度下降，當判斷模型可梯度下降并修改模型的學習率，當模型處于不同epoch階段時，采用學習率大小不同，學習率采用multstep，或者采用線性調節學習率linestep。當損失函數值和召回率不再改變時訓練完成。