[發(fā)明專利]一種人機(jī)自然交互的用戶注意力檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011019174.4
• 申請(qǐng)日: 2020-09-25
• 公開(kāi)（公告）號(hào): CN111931869B
• 公開(kāi)（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 李樹(shù)濤;李東旭;孫斌
• 申請(qǐng)（專利權(quán)）人: 湖南大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/00;G06K9/46
• 代理公司: 湖南兆弘專利事務(wù)所(普通合伙) 43008
• 代理人: 譚武藝

本發(fā)明公開(kāi)了一種人機(jī)自然交互的用戶注意力檢測(cè)方法及系統(tǒng)，本發(fā)明方法包括：根據(jù)包含用戶畫(huà)面及其深度信息的待檢測(cè)圖像提取人體關(guān)鍵點(diǎn)；根據(jù)提取得到的人體關(guān)鍵點(diǎn)進(jìn)行人體動(dòng)作特征提取；將提取得到的特征矢量輸入預(yù)先訓(xùn)練好的機(jī)器學(xué)習(xí)分類模型得到注意力檢測(cè)結(jié)果；所述機(jī)器學(xué)習(xí)分類模型被預(yù)先訓(xùn)練建立了特征矢量、注意力檢測(cè)結(jié)果之間的映射關(guān)系。本發(fā)明在人機(jī)交互的過(guò)程中能夠主動(dòng)的在多用戶場(chǎng)景下對(duì)用戶的行為進(jìn)行分析來(lái)判斷用戶的交互意愿，以便為注意力更高的用戶主動(dòng)提供服務(wù)。

技術(shù)領(lǐng)域

本發(fā)明涉及人機(jī)交互技術(shù)，具體涉及一種人機(jī)自然交互的用戶注意力檢測(cè)方法及系統(tǒng)。

背景技術(shù)

人機(jī)自然交互是指人機(jī)之間不借助外部工具而直接進(jìn)行交互。注意力是指人的心理活動(dòng)指向和集中于某種事物的能力。注意力計(jì)算是指通過(guò)使用不同的技術(shù)手段對(duì)多種能夠衡量用戶注意力的特征信息分析計(jì)算，對(duì)用戶的交互意愿進(jìn)行評(píng)估，進(jìn)而讓機(jī)器人真正的理解用戶，并主動(dòng)提供服務(wù)。所以人機(jī)自然交互的深度應(yīng)用，是通過(guò)用戶模糊的行為習(xí)慣，準(zhǔn)確的提取出用戶的交互意圖，為人機(jī)共生提供技術(shù)基礎(chǔ)。在商場(chǎng)、醫(yī)院等多用戶場(chǎng)景下的人機(jī)交互過(guò)程中，機(jī)器人必須選擇一個(gè)用戶進(jìn)行交互，因此注意力評(píng)分是非常重要的。通過(guò)采集的數(shù)據(jù)對(duì)用戶的頭部姿態(tài)、瞳孔信息、人體姿態(tài)、手勢(shì)等特征進(jìn)行提取，通過(guò)訓(xùn)練好的注意力計(jì)算模型對(duì)用戶的注意力進(jìn)行計(jì)算，判斷用戶是否想與機(jī)器人交互以及交互的意愿有多強(qiáng)烈，從而讓機(jī)器人主動(dòng)提供相關(guān)的服務(wù)。

早期對(duì)用戶注意力的分析盡管也利用頭部角度、面部表情、姿態(tài)等注意力特征，但是主要集中在通過(guò)單一注意力特征來(lái)判斷用戶是否想要與機(jī)器人進(jìn)行交互，因此對(duì)用戶的注意力判斷比較片面。例如根據(jù)用戶對(duì)視頻信息的注意力評(píng)分來(lái)判斷視頻是否吸引用戶；基于簡(jiǎn)單的網(wǎng)絡(luò)攝像頭的眼角檢測(cè)幾何模型來(lái)判斷學(xué)生線上課程的注意力，并對(duì)學(xué)生的注意力實(shí)時(shí)跟蹤；應(yīng)用于智能汽車的實(shí)時(shí)的靜態(tài)和動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)等。在實(shí)際的交互場(chǎng)景中，為了更加準(zhǔn)確的判斷用戶的注意力，往往需要通過(guò)多種注意力特征來(lái)判斷用戶的注意力水平，因此出現(xiàn)了一些基于多種注意力特征的注意力分析算法，準(zhǔn)確確定交互對(duì)象的狀態(tài)。例如基于目標(biāo)追蹤和手勢(shì)識(shí)別的手勢(shì)識(shí)別系統(tǒng)；基于人體姿態(tài)識(shí)別、人體跟蹤、人臉檢測(cè)等的注意力估計(jì)算法；從RGB圖像和深度圖像中提取幾何特征，并與深度學(xué)習(xí)框架融合的注意力分析算法；基于RGB圖像和激光信息來(lái)收集人的多種注意力特征來(lái)進(jìn)行注意力的評(píng)分等。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題：針對(duì)現(xiàn)有技術(shù)的上述問(wèn)題，提供一種人機(jī)自然交互的用戶注意力檢測(cè)方法及系統(tǒng)，本發(fā)明在人機(jī)交互的過(guò)程中能夠主動(dòng)的在多用戶場(chǎng)景下對(duì)用戶的行為進(jìn)行分析來(lái)判斷用戶的交互意愿，以便為注意力更高的用戶主動(dòng)提供服務(wù)。

為了解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案為：

一種人機(jī)自然交互的用戶注意力檢測(cè)方法，包括：

1）根據(jù)包含用戶畫(huà)面及其深度信息的待檢測(cè)圖像提取人體關(guān)鍵點(diǎn)和人臉關(guān)鍵點(diǎn)；

2）根據(jù)提取得到的人體關(guān)鍵點(diǎn)和人臉關(guān)鍵點(diǎn)進(jìn)行人體動(dòng)作特征提取；

3）將提取得到的特征矢量輸入預(yù)先訓(xùn)練好的機(jī)器學(xué)習(xí)分類模型得到注意力檢測(cè)結(jié)果；所述機(jī)器學(xué)習(xí)分類模型被預(yù)先訓(xùn)練建立了特征矢量、注意力檢測(cè)結(jié)果之間的映射關(guān)系。

可選地，步驟1）之前還包括獲取包含用戶畫(huà)面及其深度信息的待檢測(cè)圖像的下述步驟：深度相機(jī)獲取目標(biāo)場(chǎng)景內(nèi)的深度圖像D和彩色圖像C，將深度圖像D和彩色圖像C對(duì)齊得到包含用戶畫(huà)面及其深度信息的待檢測(cè)圖像。

可選地，所述將深度圖像D和彩色圖像C對(duì)齊的步驟包括：將深度圖像D的像素點(diǎn)還原到深度坐標(biāo)系下，將深度坐標(biāo)系下的深度點(diǎn)還原到世界坐標(biāo)系，將世界坐標(biāo)系的深度點(diǎn)轉(zhuǎn)換到彩色坐標(biāo)系下，最后將彩色坐標(biāo)系的深度點(diǎn)映射到Z=1的平面上與彩色圖像C的像素點(diǎn)對(duì)應(yīng)起來(lái)，使得彩色圖像C每個(gè)像素點(diǎn)都得到一個(gè)深度信息。