[發(fā)明專利]基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別方法、服務(wù)器及空調(diào)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011288158.5
• 申請(qǐng)日: 2020-11-17
• 公開(kāi)（公告）號(hào): CN112687260A
• 公開(kāi)（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 汪進(jìn);文皓;李保水;劉健軍
• 申請(qǐng)（專利權(quán)）人: 珠海格力電器股份有限公司
• 主分類號(hào): G10L15/01
• 分類號(hào): G10L15/01;G10L15/16;G10L15/22;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州市時(shí)代知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44438
• 代理人: 楊少鵬

1.一種基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別方法，其特征在于，所述基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別方法包括：

空調(diào)檢測(cè)并采集輸入的用戶語(yǔ)音需求；對(duì)所述需求進(jìn)行解析語(yǔ)義，并根據(jù)解析的所述語(yǔ)義進(jìn)行播報(bào)反饋；

實(shí)時(shí)讀取用戶人臉信息，并對(duì)實(shí)時(shí)拍攝的當(dāng)前所述用戶人臉信息的畫(huà)面進(jìn)行預(yù)處理；通過(guò)與人臉庫(kù)進(jìn)行相似度檢索，分析并識(shí)別所述用戶表情；

基于所述用戶表情判斷所述解析的語(yǔ)義理解是否有誤；如有誤，保存對(duì)話音頻和所述解析的語(yǔ)義至數(shù)據(jù)庫(kù)中，繼續(xù)提示用戶再次提問(wèn)或者再次提示用戶執(zhí)行指令。

2.如權(quán)利要求1所述的基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別方法，其特征在于，所述如有誤，保存對(duì)話音頻和所述解析的語(yǔ)義至數(shù)據(jù)庫(kù)中，繼續(xù)提示用戶再次提問(wèn)或者再次提示用戶執(zhí)行指令后，基于數(shù)據(jù)庫(kù)的大數(shù)據(jù)分析，判斷出交互需求誤差大的語(yǔ)音，對(duì)所述交互進(jìn)行分析調(diào)整。

3.如權(quán)利要求1所述的基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別方法，其特征在于，所述用戶表情的識(shí)別方法，包括：

根據(jù)人臉識(shí)別主干網(wǎng)絡(luò)，通過(guò)不同表情進(jìn)行訓(xùn)練得到不同表情識(shí)別模型；

基于深度學(xué)習(xí)的人臉表情實(shí)時(shí)檢測(cè)技術(shù)，通過(guò)攝像頭實(shí)時(shí)讀取空調(diào)回答完用戶指令時(shí)讀取用戶人臉；經(jīng)過(guò)表情識(shí)別模型識(shí)別得到用戶的真正的用戶情緒，通過(guò)人臉識(shí)別用戶的表情判斷空調(diào)是否答對(duì)。

4.如權(quán)利要求3所述的基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別準(zhǔn)確性提高方法，其特征在于，所述基于深度學(xué)習(xí)的人臉表情實(shí)時(shí)檢測(cè)技術(shù)包括：

在訓(xùn)練過(guò)程中表情識(shí)別模型中每一層layer的parameters并判斷是否可梯度下降，當(dāng)判斷模型可梯度下降并修改表情識(shí)別模型的學(xué)習(xí)率，當(dāng)表情識(shí)別模型處于不同epoch階段時(shí)，采用學(xué)習(xí)率大小不同，學(xué)習(xí)率采用multstep，或者采用線性調(diào)節(jié)學(xué)習(xí)率linestep；當(dāng)損失函數(shù)值和召回率不再改變時(shí)訓(xùn)練完成。

5.如權(quán)利要求3所述的基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別準(zhǔn)確性提高方法，其特征在于，所述基于深度學(xué)習(xí)的人臉表情實(shí)時(shí)檢測(cè)技術(shù)進(jìn)一步包括：

人臉識(shí)別主干網(wǎng)絡(luò)將殘差網(wǎng)絡(luò)思想加入到主干網(wǎng)絡(luò)；采用移動(dòng)端網(wǎng)絡(luò)提取主干網(wǎng)絡(luò)中3、5、7層的特征信息圖片，對(duì)提取出來(lái)特征信息圖片中特征區(qū)域進(jìn)行BatchNorm2d；然后對(duì)不同目標(biāo)特征進(jìn)行歸一化；最后把預(yù)測(cè)到圖片與已知帶有灰塵區(qū)域圖片進(jìn)行對(duì)比并計(jì)算分類損失函數(shù)和回歸損失函數(shù)。

6.一種空調(diào)，其特征在于，所述空調(diào)實(shí)施權(quán)利要求1～4任意一項(xiàng)所述的基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別方法。

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，儲(chǔ)存有指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行如權(quán)利要求1～5任意一項(xiàng)所述的基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別方法。

8.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行權(quán)利要求1～5任意一項(xiàng)所述的基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別方法。

9.一種信息數(shù)據(jù)處理終端，其特征在于，所述信息數(shù)據(jù)處理終端用于實(shí)現(xiàn)權(quán)利要求1～5任意一項(xiàng)所述的基于人臉識(shí)別的表情判斷語(yǔ)音識(shí)別方法。

10.一種服務(wù)器，其特征在于，搭載在權(quán)利要求6所述空調(diào)上，在所述空調(diào)播報(bào)時(shí)，基于空調(diào)檢測(cè)并采集輸入的用戶語(yǔ)音需求；對(duì)所述需求進(jìn)行解析語(yǔ)義，并根據(jù)解析的所述語(yǔ)義進(jìn)行播報(bào)反饋；

所述服務(wù)器實(shí)時(shí)讀取用戶人臉信息，并對(duì)實(shí)時(shí)拍攝的當(dāng)前所述用戶人臉信息的畫(huà)面進(jìn)行預(yù)處理；通過(guò)與人臉庫(kù)進(jìn)行相似度檢索，分析并識(shí)別所述用戶表情。