[發(fā)明專利]基于表情的AR交互方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110571684.0
• 申請(qǐng)日: 2021-05-25
• 公開(kāi)（公告）號(hào): CN113176827B
• 公開(kāi)（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 李佳佳;夏宇寰;張軍鵬;鄭子霞;魏謝敏;魏偉波;張鵬飛;李雯蔚;宋天滋;于沁寧
• 申請(qǐng)（專利權(quán)）人: 青島大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 青島清泰聯(lián)信知識(shí)產(chǎn)權(quán)代理有限公司 37256
• 代理人: 趙燕

本發(fā)明提出基于表情的AR交互方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，方法技術(shù)方案包括采集現(xiàn)實(shí)場(chǎng)景中實(shí)體物和第一人物的實(shí)時(shí)圖像數(shù)據(jù)，并同時(shí)采集第一人物的聲音數(shù)據(jù)和現(xiàn)實(shí)場(chǎng)景的環(huán)境的實(shí)時(shí)圖像數(shù)據(jù)；根據(jù)實(shí)體物、第一人物和環(huán)境的實(shí)時(shí)圖像數(shù)據(jù)，生成包括實(shí)體物、第一人物和環(huán)境的虛擬成像的AR畫(huà)面，在AR畫(huà)面中的實(shí)體物的虛擬成像上疊加表情元素，并同時(shí)在AR畫(huà)面中生成智能體形象，AR畫(huà)面通過(guò)屏幕顯示；智能體形象基于疊加有表情元素的實(shí)體物的虛擬成像，并根據(jù)第一人物的聲音數(shù)據(jù)與現(xiàn)實(shí)場(chǎng)景中的第一人物進(jìn)行互動(dòng)；互動(dòng)包括智能體形象根據(jù)預(yù)設(shè)語(yǔ)料庫(kù)與第一人物進(jìn)行對(duì)話。本發(fā)明解決了現(xiàn)有基于VR或基于AR的互動(dòng)系統(tǒng)未能考慮到自閉癥兒童群體的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種基于表情的AR交互方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在自閉癥兒童的情緒干預(yù)中，現(xiàn)有技術(shù)會(huì)通過(guò)虛擬現(xiàn)實(shí)(VR)進(jìn)行，而現(xiàn)有的虛擬現(xiàn)實(shí)技術(shù)產(chǎn)品因需要佩戴虛擬頭盔或可穿戴設(shè)備，交互空間不僅有限，而且兒童容易誤操作，尤其是對(duì)于自閉癥兒童來(lái)說(shuō)，他們并不喜歡在身上佩戴設(shè)備。而現(xiàn)有的增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)中，需要增強(qiáng)現(xiàn)實(shí)頭盔或手持?jǐn)?shù)字設(shè)備實(shí)現(xiàn)立體成像效果，導(dǎo)致所需設(shè)備成本高，且因無(wú)法解放雙手導(dǎo)致效率低，識(shí)別準(zhǔn)確度差；此外，還忽略了自閉癥兒童作為用戶群的技術(shù)開(kāi)發(fā)需求，操作復(fù)雜，操作流程繁瑣，并不適用于兒童，尤其是自閉癥兒童的使用。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了基于表情的AR交互方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，以至少解決現(xiàn)有基于VR或基于AR的互動(dòng)系統(tǒng)未能考慮到自閉癥兒童群體的問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供了基于表情的AR交互方法，包括：1.基于表情的AR交互方法，其特征在于，包括：現(xiàn)實(shí)數(shù)據(jù)采集步驟，采集一現(xiàn)實(shí)場(chǎng)景中實(shí)體物和第一人物的實(shí)時(shí)圖像數(shù)據(jù)，并同時(shí)采集所述第一人物的聲音數(shù)據(jù)和所述現(xiàn)實(shí)場(chǎng)景的環(huán)境的實(shí)時(shí)圖像數(shù)據(jù)；AR畫(huà)面生成步驟，根據(jù)所述實(shí)體物、所述第一人物和所述環(huán)境的實(shí)時(shí)圖像數(shù)據(jù)，生成一包括所述實(shí)體物、所述第一人物和所述環(huán)境的虛擬成像的AR畫(huà)面，在所述AR畫(huà)面中的所述實(shí)體物的虛擬成像上疊加一表情元素，并同時(shí)在所述AR畫(huà)面中生成一智能體形象，所述AR畫(huà)面通過(guò)一屏幕顯示；AR智能互動(dòng)步驟，所述智能體形象基于疊加有所述表情元素的所述實(shí)體物的虛擬成像，并根據(jù)所述第一人物的聲音數(shù)據(jù)和所述實(shí)時(shí)圖像數(shù)據(jù)與所述現(xiàn)實(shí)場(chǎng)景中的所述第一人物進(jìn)行互動(dòng)；所述互動(dòng)包括所述智能體形象根據(jù)一預(yù)設(shè)語(yǔ)料庫(kù)與所述第一人物進(jìn)行對(duì)話。

優(yōu)選的，所述方法進(jìn)一步包括：操作介入干預(yù)步驟，若所述預(yù)設(shè)語(yǔ)料庫(kù)無(wú)法支持所述智能體形象與所述第一人物進(jìn)行對(duì)話，則通過(guò)一第二人物對(duì)所述互動(dòng)進(jìn)行干預(yù)。

優(yōu)選的，所述現(xiàn)實(shí)數(shù)據(jù)采集步驟進(jìn)一步包括：表情訓(xùn)練步驟，通過(guò)CNN神經(jīng)網(wǎng)絡(luò)，根據(jù)一人臉表情數(shù)據(jù)集訓(xùn)練一表情識(shí)別分類模型；表情分類步驟，通過(guò)OpenCV接口對(duì)采集到的所述第一人物的實(shí)時(shí)圖像數(shù)據(jù)進(jìn)行識(shí)別，提取出所述第一人物的面部表情數(shù)據(jù)，并輸入至所述表情識(shí)別分類模型中進(jìn)行分類。

優(yōu)選的，在所述實(shí)體物的表面覆蓋一識(shí)別圖像，所述識(shí)別圖像包括具有圖紋和色彩的二維圖形，用于對(duì)所述實(shí)體物進(jìn)行所述實(shí)時(shí)圖像數(shù)據(jù)的采集。

第二方面，本申請(qǐng)實(shí)施例提供了基于表情的AR交互系統(tǒng)，適用于上述基于表情的AR交互方法，包括：現(xiàn)實(shí)數(shù)據(jù)采集模塊，采集一現(xiàn)實(shí)場(chǎng)景中實(shí)體物和第一人物的實(shí)時(shí)圖像數(shù)據(jù)，并同時(shí)采集所述第一人物的聲音數(shù)據(jù)和所述現(xiàn)實(shí)場(chǎng)景的環(huán)境的實(shí)時(shí)圖像數(shù)據(jù)；AR畫(huà)面生成模塊，根據(jù)所述實(shí)體物、所述第一人物和所述環(huán)境的實(shí)時(shí)圖像數(shù)據(jù)，生成一包括所述實(shí)體物、所述第一人物和所述環(huán)境的虛擬成像的AR畫(huà)面，在所述AR畫(huà)面中的所述實(shí)體物的虛擬成像上疊加一表情元素，并同時(shí)在所述AR畫(huà)面中生成一智能體形象，所述AR畫(huà)面通過(guò)一屏幕顯示；AR智能互動(dòng)模塊，所述智能體形象基于疊加有所述表情元素的所述實(shí)體物的虛擬成像，并根據(jù)所述第一人物的聲音數(shù)據(jù)和所述實(shí)時(shí)圖像數(shù)據(jù)與所述現(xiàn)實(shí)場(chǎng)景中的所述第一人物進(jìn)行互動(dòng)；所述互動(dòng)包括所述智能體形象根據(jù)一預(yù)設(shè)語(yǔ)料庫(kù)與所述第一人物進(jìn)行對(duì)話。