[發明專利]基于表情的AR交互方法、系統、電子設備及存儲介質

有效

• 申請號: 202110571684.0
• 申請日: 2021-05-25
• 公開（公告）號: CN113176827B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 李佳佳;夏宇寰;張軍鵬;鄭子霞;魏謝敏;魏偉波;張鵬飛;李雯蔚;宋天滋;于沁寧
• 申請（專利權）人: 青島大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 趙燕

1.基于表情的AR交互方法，其特征在于，包括：

現實數據采集步驟，采集一現實場景中實體物和第一人物的實時圖像數據，并同時采集所述第一人物的聲音數據和所述現實場景的環境的實時圖像數據；其中，所述第一人物的實時圖像數據包括第一人物的面部表情數據；

AR畫面生成步驟，根據所述實體物、所述第一人物和所述環境的實時圖像數據生成通過一屏幕顯示的AR畫面，所述AR畫面包括：所述實體物的虛擬成像、所述環境的實時圖像與所述第一人物的實時圖像，在所述AR畫面中的所述實體物的虛擬成像上根據實體物的識別圖像疊加一表情元素，并利用三維設計軟件設計一人物形象的智能體形象，同時利用增強現實技術將所述智能體形象疊加在所述AR畫面中，其中，所述屏幕包括電腦屏幕；

AR智能互動步驟，所述智能體形象在所述AR畫面中對所述第一人物進行提問，所述第一人物通過在現實中找出相應的虛擬表情所對應的實體物進行回答，由所述智能體形象判斷是否正確并給予提示；或；所述第一人物應所述智能體形象的要求做出指定的表情，根據采集的所述第一人物的實時圖像數據計算表情持續時間，并對所述第一人物的實時圖像在AR畫面中進行可視化展示。

2.根據權利要求1所述的基于表情的AR交互方法，其特征在于，所述方法進一步包括：

操作介入干預步驟，若所述預設語料庫無法支持所述智能體形象與所述第一人物進行對話，則通過一第二人物對所述互動進行干預。

3.根據權利要求1所述的基于表情的AR交互方法，其特征在于，所述現實數據采集步驟進一步包括：

表情訓練步驟，通過CNN神經網絡，根據一人臉表情數據集訓練一表情識別分類模型；

表情分類步驟，通過OpenCV接口對采集到的所述第一人物的實時圖像數據進行識別，提取出所述第一人物的面部表情數據，并輸入至所述表情識別分類模型中進行分類。

4.根據權利要求1所述的基于表情的AR交互方法，其特征在于，在所述實體物的表面覆蓋一識別圖像，所述識別圖像包括具有圖紋和色彩的二維圖形，用于對所述實體物進行所述實時圖像數據的采集。

5.基于表情的AR交互系統，其特征在于，包括：

現實數據采集模塊，采集一現實場景中實體物和第一人物的實時圖像數據，并同時采集所述第一人物的聲音數據和所述現實場景的環境的實時圖像數據；其中，所述第一人物的實時圖像數據包括第一人物的面部表情數據；

AR畫面生成模塊，根據所述實體物、所述第一人物和所述環境的實時圖像數據生成通過一屏幕顯示的AR畫面，所述AR畫面包括：所述實體物的虛擬成像、所述環境的實時圖像與所述第一人物的實時圖像，在所述AR畫面中的所述實體物的虛擬成像上根據實體物的識別圖像疊加一表情元素，并利用三維設計軟件設計一人物形象的智能體形象，同時利用增強現實技術將所述智能體形象疊加在所述AR畫面中，其中，所述屏幕包括電腦屏幕；

AR智能互動模塊，所述智能體形象在所述AR畫面中對所述第一人物進行提問，所述第一人物通過在現實中找出相應的虛擬表情所對應的實體物進行回答，由所述智能體形象判斷是否正確并給予提示；或；所述第一人物應所述智能體形象的要求做出指定的表情，根據采集的所述第一人物的實時圖像數據計算表情持續時間，并對所述第一人物的實時圖像在AR畫面中進行可視化展示。

6.根據權利要求5所述的基于表情的AR交互系統，其特征在于，所述系統進一步包括：

操作介入干預模塊，若所述預設語料庫無法支持所述智能體形象與所述第一人物進行對話，則通過一第二人物對所述互動進行干預。

7.根據權利要求5所述的基于表情的AR交互系統，其特征在于，所述現實數據采集模塊進一步包括：

表情訓練單元，通過CNN神經網絡，根據一人臉表情數據集訓練一表情識別分類模型；

表情分類單元，通過OpenCV接口對采集到的所述第一人物的實時圖像數據進行識別，提取出所述第一人物的面部表情數據，并輸入至所述表情識別分類模型中進行分類。