[發明專利]對象說話檢測方法及裝置、電子設備和存儲介質

在審

• 申請號: 202110735963.6
• 申請日: 2021-06-30
• 公開（公告）號: CN113486760A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 王飛;錢晨
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L15/25
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種對象說話檢測方法及裝置、電子設備和存儲介質，所述方法包括：獲取車艙內的視頻流，以及車載麥克風采集的聲音信號；對視頻流的多個視頻幀中的每一個視頻幀進行人臉檢測，確定車內的目標對象在每一個視頻幀中的人臉區域；根據目標對象在多個視頻幀中的N個視頻幀中的人臉區域，確定目標對象嘴唇的唇動識別結果，N為大于1的整數；根據唇動識別結果以及第一聲音信號，確定目標對象的說話檢測結果，其中，第一聲音信號包括與N個視頻幀對應的時間段的聲音信號，說話檢測結果包括目標對象處于說話狀態或處于未說話狀態。本公開實施例可提高對象說話檢測的準確性。

技術領域

本公開涉及智能車艙技術領域，尤其涉及一種對象說話檢測方法及裝置、電子設備和存儲介質。

背景技術

車艙智能化包括多模交互，個性化服務，安全感知等方面的智能化，是當前汽車行業發展的重要方向。車艙多模交互意在為乘客提供舒適的交互體驗，多模交互的手段包括語音識別、手勢識別等。其中，語音識別在車載交互領域占有重大的市場份額。

然而，車艙內存在多處聲源，如音響、開車產生的噪音、車艙外噪音等，對語音識別造成了非常強的干擾。相關技術中，基于純語音的信號檢測手段難以抑制語音誤報，誤報率較高。

發明內容

本公開提出了一種對象說話檢測技術方案。

根據本公開的一方面，提供了一種對象說話檢測方法，包括：

獲取車艙內的視頻流，以及車載麥克風采集的聲音信號；對所述視頻流的多個視頻幀中的每一個視頻幀進行人臉檢測，確定車內的目標對象在所述每一個視頻幀中的人臉區域；根據所述目標對象在所述多個視頻幀中的N個視頻幀中的人臉區域，確定所述目標對象嘴唇的唇動識別結果，N為大于1的整數；根據所述唇動識別結果以及第一聲音信號，確定所述目標對象的說話檢測結果，其中，所述第一聲音信號包括與所述N個視頻幀對應的時間段的所述聲音信號，所述說話檢測結果包括所述目標對象處于說話狀態或處于未說話狀態。

在一種可能的實現方式中，所述根據所述唇動識別結果以及第一聲音信號，確定所述目標對象的說話檢測結果，包括：在所述唇動識別結果為發生唇動，且所述第一聲音信號包括語音的情況下，確定所述目標對象處于說話狀態。

在一種可能的實現方式中，所述方法還包括：在所述目標對象處于說話狀態的情況下，對所述第一聲音信號進行內容識別，確定與所述第一聲音信號對應的語音內容；在所述語音內容包括預設的語音指令的情況下，執行與所述語音指令對應的控制功能。

在一種可能的實現方式中，所述目標對象包括駕駛員，其中，所述在所述語音內容包括預設的語音指令的情況下，執行與所述語音指令對應的控制功能，包括：

在所述語音指令對應具有方向性的多個控制功能的情況下，根據所述目標對象在所述N個視頻幀中的人臉區域，確定所述目標對象的注視方向；根據所述目標對象的注視方向，從所述多個控制功能中確定出目標控制功能；執行所述目標控制功能。

在一種可能的實現方式中，所述視頻流包括駕駛員區域的第一視頻流，和/或車艙內乘員區域的第二視頻流；所述對所述視頻流的多個視頻幀中的每一個視頻幀進行人臉檢測，包括：基于所述第一視頻流的多個第一視頻幀中的每一個第一視頻幀檢測駕駛員的人臉；和/或基于所述第二視頻流的多個第二視頻幀中的每一個第二視頻幀檢測車艙內的人臉，并根據檢測到的車艙內的人臉的位置確定所述每一個第二視頻幀中的駕駛員的人臉。

在一種可能的實現方式中，所述獲取車艙內的視頻流，包括：獲取駕駛員檢測系統DMS攝像頭采集的駕駛員區域的第一視頻流；和/或獲取乘員檢測系統OMS攝像頭采集的車艙內乘員區域的第二視頻流。

在一種可能的實現方式中，所述方法還包括：根據所述多個視頻幀中的每一個視頻幀，確定所述目標對象的第一座位區域；