[發(fā)明專利]面向人群的虛擬人交互注意力驅(qū)動(dòng)的姿態(tài)控制裝置及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111651601.5
• 申請(qǐng)日: 2021-12-30
• 公開(kāi)（公告）號(hào): CN114489326A
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 姜志宏;宋彬彬;彭輝;郭亮;劉佳
• 申請(qǐng)（專利權(quán)）人: 南京七奇智能科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T19/00
• 代理公司: 南京蘇創(chuàng)專利代理事務(wù)所(普通合伙) 32273
• 代理人: 王華

本發(fā)明涉及一種面向人群的虛擬人交互注意力驅(qū)動(dòng)的姿態(tài)控制裝置及方法，裝置包括虛擬人決策系統(tǒng)和虛擬人交互系統(tǒng)，方法包括步驟：篩選當(dāng)前交互人，調(diào)整虛擬人姿態(tài)，采集交互信息和根據(jù)交互信息進(jìn)行交互反饋。本發(fā)明通過(guò)建立交互人備選列表，借助單目視覺(jué)進(jìn)行距離過(guò)濾和角度過(guò)濾，并結(jié)合交互行為篩選出當(dāng)前活躍交互對(duì)象，通過(guò)虛擬人交互系統(tǒng)驅(qū)動(dòng)虛擬人向當(dāng)前交互人調(diào)整姿態(tài)、臉部朝向和眼球注視方向，實(shí)現(xiàn)從人群中選擇單一活躍對(duì)象進(jìn)行交互的效果，提高交互對(duì)象的被尊重感和交互體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種面向人群的虛擬人交互注意力驅(qū)動(dòng)的姿態(tài)控制裝置及方法，屬于人工智能虛擬人技術(shù)領(lǐng)域。

背景技術(shù)

以大屏和投影為顯示載體的虛擬人，已經(jīng)較大范圍用于交互式的客服咨詢、產(chǎn)品展示和導(dǎo)購(gòu)導(dǎo)覽等線下場(chǎng)景，目前聚焦于虛擬人多模態(tài)交互的研究較多，已知的虛擬人交互姿態(tài)控制的研究和成果，主要聚焦于兩個(gè)方面：一是通過(guò)真人數(shù)據(jù)采集來(lái)實(shí)現(xiàn)虛擬人姿態(tài)控制的擬真性和豐富性；二是在通過(guò)機(jī)器視覺(jué)識(shí)別，形成虛擬人與單個(gè)用戶一對(duì)一交互的互相注視感覺(jué)，解決單輪或多輪交互中的體驗(yàn)感和連續(xù)性的問(wèn)題。

這些技術(shù)方法和裝置，應(yīng)用于智能音箱，車(chē)載導(dǎo)航等私人空間，或單人場(chǎng)景下均已取得良好效果。而對(duì)于線下如政企、商場(chǎng)、景點(diǎn)等場(chǎng)景，以大屏顯示或投影等平面介質(zhì)展現(xiàn)的虛擬人，往往會(huì)面向前方多人，或者有人群作為交互背景，需要實(shí)時(shí)地從目標(biāo)人群眾發(fā)現(xiàn)和選擇交互對(duì)象進(jìn)行多人中的“選一交互”模式，此時(shí)針對(duì)單用戶的姿態(tài)控制方式無(wú)法滿足交互體驗(yàn)提升的目的。

本發(fā)明提供一種響應(yīng)式的虛擬人姿態(tài)控制方法，能夠?qū)?dāng)前活躍用戶作為交互對(duì)象，提升用戶交互過(guò)程的被尊重感，進(jìn)而提升用戶體驗(yàn)。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供一種面向人群的虛擬人交互注意力驅(qū)動(dòng)的姿態(tài)控制裝置及方法，其具體技術(shù)方案如下：

一種面向人群的虛擬人交互注意力驅(qū)動(dòng)的姿態(tài)控制裝置，包括虛擬人決策系統(tǒng)和虛擬人交互系統(tǒng)，

所述虛擬人決策系統(tǒng)包括多模態(tài)意圖理解模塊、反饋生成模塊和交互人選擇模塊；

所述虛擬人交互系統(tǒng)包括語(yǔ)音交互模塊、語(yǔ)音定向采集模塊、視覺(jué)理解模塊和虛擬人控制與呈現(xiàn)模塊；

所述交互人選擇模塊設(shè)置有嵌入式計(jì)算平臺(tái)，交互人選擇模塊與單目RGB攝像頭和雙麥克定向拾音器連接，用于根據(jù)采集數(shù)據(jù)計(jì)算選擇當(dāng)前實(shí)際交互人；

所述語(yǔ)音定向數(shù)據(jù)采集模塊和視覺(jué)理解模塊用于收集當(dāng)前交互人的交互信息數(shù)據(jù)，并將交互信息數(shù)據(jù)傳遞至虛擬人決策系統(tǒng)的多模態(tài)意圖理解模塊進(jìn)行處理；

所述多模態(tài)意圖理解模塊用于處理當(dāng)前交互人的交互信息數(shù)據(jù)，并將處理結(jié)果傳遞至反饋生成模塊；

所述反饋生成模塊用于計(jì)算生成交互反饋內(nèi)容，并將交互反饋內(nèi)容傳遞至語(yǔ)音交互模塊和虛擬人控制與呈現(xiàn)模塊；

所述虛擬人控制與呈現(xiàn)模塊驅(qū)動(dòng)虛擬人用于驅(qū)動(dòng)虛擬人行為、調(diào)整姿態(tài)和輸出交互反饋內(nèi)容。

一種面向人群的虛擬人交互注意力驅(qū)動(dòng)的姿態(tài)控制方法，包括以下步驟：

步驟1：虛擬人決策系統(tǒng)的交互人選擇模塊采集數(shù)據(jù)計(jì)算篩選當(dāng)前實(shí)際交互人，所述計(jì)算過(guò)程通過(guò)嵌入式計(jì)算平臺(tái)完成；

步驟1.1：標(biāo)定攝像頭并計(jì)算焦距F，測(cè)量虛擬人在屏幕上的位置與攝像頭安裝位置的水平距離OHca，將焦距F和水平距離OHca作為虛擬人注意力計(jì)算參數(shù)保存；

所述焦距F的計(jì)算公式如下：

（1）

其中H是已知的標(biāo)定物的實(shí)際高度，D為標(biāo)定物到攝像頭的實(shí)際距離，P為標(biāo)定物在攝像頭畫(huà)面中的寬度的像素?cái)?shù)；

步驟1.2：?jiǎn)文縍GB攝像頭采集場(chǎng)景視頻，根據(jù)場(chǎng)景視頻識(shí)別出的人臉數(shù)據(jù)建立交互人備選列表；