[發明專利]一種人體意圖識別方法、系統以及存儲介質

有效

• 申請號: 202010699862.3
• 申請日: 2020-07-20
• 公開（公告）號: CN111967334B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 閆野;吳競寒;印二威;謝良;鄧寶松;范曉麗;羅治國;閆慧炯;楊超
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院;天津（濱海）人工智能軍民融合創新中心
• 主分類號: G06F18/10
• 分類號: G06F18/10;G06F18/24;G06F18/25;G06F40/30;G06N3/0464;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本發明公開了一種人體意圖識別方法，所述方法包括：實時采集當前人體的特征信號；基于所述特征信號生成所述當前人體對應的多源數據特征以及眼睛選定的注視點坐標；識別所述多源數據特征以及眼睛選定的注視點坐標，生成所述多源數據特征對應的語音文本以及所述注視點坐標對應的場景圖像描述文本；針對所述語音文本以及場景圖像描述文本進行實體抽取，生成所述語音文本以及場景圖像描述文本對應的實體片段；采用共指消解算法處理所述實體片段，生成目標對象；基于所述語音文本、場景圖像描述文本以及目標對象，生成人體意圖識別結果。因此，采用本申請實施例，通過針對特定場景的口眼協同交互信息處理后得到識別結果，從而提升了機器識別人體意圖的準確率。

技術領域

本發明涉及人工智能技術領域，特別涉及一種人體意圖識別方法、系統以及存儲介質。

背景技術

近年來，隨著新型穿戴式傳感技術手段和人工智能技術的快速發展，涌現出大批學者和研究機構基于眼、口等生理交互媒介開展的語音和眼動等人機自然交互研究。事實上，人與人之間的交互是一個口眼協同并用的過程，多元媒介信息的互補特性使人與人之間的語義表達更加高效暢通。

在現有技術中，人與操作設備(如頭戴顯示設備、計算機、手機等生活用設備)之間的交互主要是通過手工操作的交互方式。例如，人與頭戴顯示設備進行交互時，可以利用物理按鍵進行提高音量、播放或暫停等操作；人與計算機進行交互時，需要手工操作鍵盤或特定標識進行播放或打開等操作。由于這種交互方式智能性低，浪費時間，從而降低了人機交互的效率。

因此，如何建立人機之間的共識，提高機器對人體意圖的識別效率，是學術界亟待突破的難題。

發明內容

本申請實施例提供了一種人體意圖識別方法、系統以及存儲介質。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現一些概念，以此作為后面的詳細說明的序言。

第一方面，本申請實施例提供了一種人體意圖識別方法，所述方法包括：

實時采集當前人體的特征信號；

基于所述特征信號生成所述當前人體對應的多源數據特征以及眼睛選定的注視點坐標；

識別所述多源數據特征以及眼睛選定的注視點坐標，生成所述多源數據特征對應的語音文本以及所述注視點坐標對應的場景圖像描述文本；

針對所述語音文本以及場景圖像描述文本進行實體抽取，生成所述語音文本以及場景圖像描述文本對應的實體片段；

采用共指消解算法處理所述實體片段，生成目標對象；

基于所述語音文本、場景圖像描述文本以及目標對象，生成人體意圖識別結果。

可選的，所述生成人體意圖識別結果之后，還包括：

將所述人體意圖識別結果進行顯示并發送至外接設備，控制所述外接設備執行功能。

可選的，所述特征信號包括音頻信號、唇部圖像信號、面部肌電信號和眼睛圖像信號；

所述基于所述特征信號生成所述當前人體對應的多源數據特征以及眼睛選定的注視點坐標，包括：

分別將所述音頻信號、唇部圖像信號、面部肌電信號進行數據預處理，生成所述當前人體對應的多源數據特征；

對所述眼睛圖像信號進行注視點坐標提取，生成所述當前人體對應的眼睛選定的注視點坐標。

可選的，所述分別將所述音頻信號、唇部圖像信號、面部肌電信號進行數據預處理，生成所述當前人體對應的多源數據特征，包括：

對所述音頻信號進行分幀和加窗處理，生成音頻信號數據特征；