[發明專利]基于人工智能虛擬形象的互動服務方法及裝置

在審

• 申請號: 202210267710.5
• 申請日: 2022-03-17
• 公開（公告）號: CN115167656A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 高漢錫;裵正民;米格爾·阿爾芭
• 申請（專利權）人: 迪姆實驗室有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/16;G06V40/10;G06T15/00;G10L15/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 呂琳;田英愛

本發明一實施例的在包括無人信息終端和互動服務裝置的系統中執行的基于人工智能虛擬形象(AI)的互動服務方法，其包括如下步驟：向互動服務裝置傳輸從安裝有無人信息終端的麥克風陣列收集的聲音信號和從視覺傳感器收集的影像信號；上述互動服務裝置基于接收到的聲音信號和影像信號來設定檢測區域；上述互動服務裝置基于在上述檢測區域內收集的用戶的語音信號和用戶的影像信號來識別主動說話人員；上述互動服務裝置生成針對識別到的主動說話人員的反應，對人工智能虛擬形象進行三維渲染后，向上述人工智能虛擬形象反映所生成的反應；以及上述互動服務裝置向上述無人信息終端提供所渲染的人工智能虛擬形象。

技術領域

本發明涉及基于虛擬形象的互動服務方法及裝置。

背景技術

虛擬形象(Avatar)為代表分身或化身的詞，在虛擬空間中是指代替用戶角色的動畫卡通形象。

在現有的虛擬形象中，大部分屬于二維圖片。出現在網絡游戲或網絡聊天中的二維虛擬形象屬于最基本的水平，為此，當前出現有用于解決缺少現實感及立體感問題的虛擬形象。

最近，隨著人工智能技術及傳感技術的發展，當前，針對與人自然交流溝通的人工智能虛擬形象技術的需求也不斷增加。

發明內容

發明所要解決的問題

本發明的目的在于，提供能夠與人自然交流溝通的基于人工智能虛擬形象的互動服務方法及裝置。

用于解決問題的方案

用于實現上述目的的本發明一實施例的在包括無人信息終端和互動服務裝置的系統中執行的基于人工智能虛擬形象(AI)的互動服務方法的特征在于，包括如下步驟：向互動服務裝置傳輸從安裝有上述無人信息終端的麥克風陣列收集的聲音信號和從視覺傳感器收集的影像信號；上述互動服務裝置基于接收到的聲音信號和影像信號來設定檢測區域；上述互動服務裝置基于在上述檢測區域內收集的用戶的語音信號和用戶的影像信號來識別主動說話人員；上述互動服務裝置生成針對識別到的主動說話人員的反應，對人工智能虛擬形象進行三維渲染后，向上述人工智能虛擬形象反映所生成的反應；以及上述互動服務裝置向上述無人信息終端提供所渲染的人工智能虛擬形象。

在一實施例中，本發明的特征在于，在設定上述檢測區域的步驟中，上述互動服務裝置基于接收到的聲音信號并通過聲源定位方法來推定聲源方向，通過旁瓣信號對消(Sidelobe signal cancelling)方法限制來自側面的聲音輸入，針對接收到的影像信號應用背景分離技術來限制識別到的對象之后的影像輸入。

在一實施例中，本發明的特征在于，在識別上述主動說話人員的步驟中，針對上述檢測區域內用戶的影像信號，上述互動服務裝置通過人臉識別方法來確定人的數量，當在檢測區域內識別到多人時，通過聲源位置推定方法、語音識別方法及嘴形識別方法中的一種以上的方法來將識別成說話人員的人選定為主動說話人員。

在一實施例中，本發明的特征在于，在向上述無人信息終端提供上述人工智能虛擬形象的步驟中，針對接收到的用戶的影像信號，分析包括說話人員的臉部表情、姿勢、手勢、語氣中的一種以上的信息來生成反應。

在一實施例中，本發明的特征在于，在向上述無人信息終端提供上述人工智能虛擬形象的步驟中，上述互動服務裝置通過上述語音識別(ASR)、自然語言理解(NLU)及文本轉語音(Text-to-Speech，TTS)中的一種以上來識別主動說話人員的語音。

在一實施例中，本發明的特征在于，上述互動服務裝置對識別到的語音信息和非語音信息賦予加權值，當上述語音信息和非語音信息表示相同方向的結果或表示不同方向的結果時，上述互動服務裝置對識別到的語音信息和非語音信息賦予互不相同的加權值。