[發明專利]表述內容識別方法、裝置、電子設備、機器可讀存儲介質

有效

• 申請號: 201811415009.3
• 申請日: 2018-11-26
• 公開（公告）號: CN109583359B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 馮瑞豐;雷艷兵
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V40/20;G06V10/75;G06V30/26
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本公開是關于一種表述內容識別方法、裝置、電子設備、機器可讀存儲介質。一種表述內容識別方法，包括：在用戶表述過程中，對所述用戶語音以及表述部位圖像進行采集；對采集的語音數據以及圖像數據分別進行識別；基于所述語音數據的識別結果和所述圖像數據的識別結果，確定用戶表述的內容。可見，本實施例中利用語音數據和圖像數據確定出用戶表述的內容，克服嘈雜環境對語音識別結果的影響，有利于提高識別結果的準確度，提升用戶的使用體驗。

技術領域

本公開涉及控制技術領域，尤其涉及一種表述內容識別方法、裝置、電子設備、機器可讀存儲介質。

背景技術

目前，語音識別技術得到的迅速發展，開始應用于工業、家電、通信、汽車電子、醫療、家庭服務、消費電子產品等各個領域。現有的語音設備上設置有麥克風陣列，通過麥克風陣列進行拾音，然后語音設備中處理器對語音數據進行降噪、語音識別以及自然語音處理，從而得到用戶表述的內容。

然而，當語音設備放置在嘈雜環境下或者用戶有發音障礙時，語音設備識別用戶表述內容的準確率大大降低，甚至無法有效識別出用戶的表述內容。

發明內容

本公開提供一種表述內容識別方法、裝置、電子設備、機器可讀存儲介質，以解決相關技術的不足。

根據本公開實施例的第一方面，提供一種表述內容識別方法，包括：

在用戶表述過程中，對所述用戶語音以及表述部位圖像進行采集；

對采集的語音數據以及圖像數據分別進行識別；

基于所述語音數據的識別結果和所述圖像數據的識別結果，確定用戶表述的內容。

可選地，所述表述部位包括：口部；對采集的圖像數據進行識別，包括：

對采集的圖像中口部進行識別定位；

采用第一預設算法對采集圖像中的口型變化進行唇語分析，得到識別的文字；或者，將采集圖像中的口型與預設口型數據庫中的口型數據進行匹配，得到識別的文字。

可選地，所述表述部位包括：手部；對采集的圖像數據進行識別，包括：

對采集的圖像中手部進行識別定位；

采用第二預設算法對采集圖像中的手勢變化進行手語分析，得到識別的文字；或者，將采集圖像中的手勢與預設手勢動作數據庫中的手勢數據進行匹配，得到識別的文字。

可選地，所述表述部位包括：口部和手部；對采集的圖像數據進行識別，包括：

對采集的圖像中口部和手部分別進行識別定位；

采用第一預設算法對采集圖像中的口型變化進行唇語分析，或者，將采集圖像中的口型與預設口型數據庫中的口型數據進行匹配，得到基于口部圖像數據識別的第一文字；

采用第二預設算法對采集圖像中的手勢變化進行手語分析，或者，將采集圖像中的手勢與預設手勢動作數據庫中的手勢數據進行匹配，得到基于手部圖像數據識別的第二文字；

根據所述第一文字的識別準確率和所述第二文字的識別準確率，對所述第一文字和所述第二文字進行合成處理，得到識別的文字。

可選地，基于所述語音數據的識別結果和所述圖像數據的識別結果，確定用戶表述的內容，包括：

分別獲取所述語音數據的識別結果和所述圖像數據的識別結果的識別準確率；

將識別準確率較高的識別結果確定為識別出的表述內容。

可選地，基于所述語音數據的識別結果和所述圖像數據的識別結果，確定用戶表述的內容，包括：

定位基準識別結果中的文字缺失區域；