[發明專利]一種人機自然交互的用戶注意力檢測方法及系統

有效

• 申請號: 202011019174.4
• 申請日: 2020-09-25
• 公開（公告）號: CN111931869B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 李樹濤;李東旭;孫斌
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06K9/46
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

1.一種人機自然交互的用戶注意力檢測方法，其特征在于，包括：

1）根據包含用戶畫面及其深度信息的待檢測圖像提取人體關鍵點和人臉關鍵點；

2）根據提取得到的人體關鍵點和人臉關鍵點進行人體動作特征提取；

3）將提取得到的特征矢量輸入預先訓練好的機器學習分類模型得到注意力檢測結果；所述機器學習分類模型被預先訓練建立了特征矢量、注意力檢測結果之間的映射關系；

步驟2）中進行人體動作特征提取包括：2.1）計算人體關鍵點的三維坐標；2.2）根據提取得到的人體關鍵點的三維坐標提取社交距離特征f_d(x)、人體方位角特征f_a(x)、頭部姿態特征f_h(x)、唇動特征f_l(x)、人臉檢測特征f_f (x)和人體偏向角特征f_p(x)中的部分或全部構成特征矢量，社交距離特征f_d(x)是指深度信息中攜帶的社交距離，人體方位角特征fa(x)是指用戶相對于機器人的方位角，頭部姿態特征f_h(x)是指頭部水平偏轉角與待檢測圖像采集相機位置之間的相對角，唇動特征f_l(x)是指用戶嘴唇的長寬比，人臉檢測特征f_f(x)是指是否檢測到人臉，人體偏向角特征f_p(x)是指用戶的身體偏轉角與待檢測圖像采集相機位置之間的相對角；步驟2.1）中計算得到的人體關鍵點或人臉關鍵點的三維坐標為(x_b1,y_b1,z_b1)，步驟2.2）中：

所述社交距離特征f_d(x)的計算函數表達式為：

所述人體方位角特征f_a(x)的計算函數表達式為：

所述頭部姿態特征f_h(x)的計算函數表達式為：

其中，θ_h為根據人臉關鍵點檢測得到的結果選取鼻端、內眼角、外眼角三組對稱關鍵點求得頭部水平偏轉角與相機位置之間的相對角度；

所述唇動特征f_l(x)在用戶的嘴巴長寬比LAR大于等于預設閾值時取1，否則取0；

所述人體偏向角特征f_p(x)的計算函數表達式為：

其中，θ_p為左肩和右肩對應的對稱關鍵點求得身體偏轉角與相機位置之間的相對角度。