[發(fā)明專利]基于人工智能虛擬形象的互動服務方法及裝置

在審

• 申請?zhí)枺?/td>: 202210267710.5
• 申請日: 2022-03-17
• 公開（公告）號: CN115167656A
• 公開（公告）日: 2022-10-11
• 發(fā)明（設計）人: 高漢錫;裵正民;米格爾·阿爾芭
• 申請（專利權）人: 迪姆實驗室有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/16;G06V40/10;G06T15/00;G10L15/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 呂琳;田英愛

1.一種基于人工智能虛擬形象的互動服務方法，上述方法在包括無人信息終端和互動服務裝置的系統(tǒng)中執(zhí)行，其特征在于，包括如下步驟：

向互動服務裝置傳輸從安裝有上述無人信息終端的麥克風陣列收集的聲音信號和從視覺傳感器收集的影像信號；

上述互動服務裝置基于接收到的聲音信號和影像信號來設定檢測區(qū)域；

上述互動服務裝置基于在上述檢測區(qū)域內(nèi)收集的用戶的語音信號和用戶的影像信號來識別主動說話人員；

上述互動服務裝置生成針對識別到的主動說話人員的反應，對人工智能虛擬形象進行三維渲染后，向上述人工智能虛擬形象反映所生成的反應；以及

上述互動服務裝置向上述無人信息終端提供所渲染的人工智能虛擬形象。

2.根據(jù)權利要求1所述的基于人工智能虛擬形象的互動服務方法，其特征在于，

在設定上述檢測區(qū)域的步驟中，上述互動服務裝置基于接收到的聲音信號并通過聲源定位方法來推定聲源方向，通過旁瓣信號對消方法限制來自側面的聲音輸入，針對接收到的影像信號應用背景分離技術來限制識別到的對象之后的影像輸入。

3.根據(jù)權利要求1所述的基于人工智能虛擬形象的互動服務方法，其特征在于，

在識別上述主動說話人員的步驟中，針對上述檢測區(qū)域內(nèi)用戶的影像信號，上述互動服務裝置通過人臉識別方法來確定人的數(shù)量，當在檢測區(qū)域內(nèi)識別到多人時，通過聲源位置推定方法、語音識別方法及嘴形識別方法中的一種以上的方法來將識別成說話人員的人選定為主動說話人員。

4.根據(jù)權利要求1所述的基于人工智能虛擬形象的互動服務方法，其特征在于，

在向上述無人信息終端提供上述人工智能虛擬形象的步驟中，針對接收到的用戶的影像信號，分析包括說話人員的臉部表情、姿勢、手勢、語氣中的一種以上的信息來生成反應。

5.根據(jù)權利要求4所述的基于人工智能虛擬形象的互動服務方法，其特征在于，

在向上述無人信息終端提供上述人工智能虛擬形象的步驟中，上述互動服務裝置通過上述語音識別、自然語言理解及文本轉語音中的一種以上來識別主動說話人員的語音。

6.根據(jù)權利要求5所述的基于人工智能虛擬形象的互動服務方法，其特征在于，

在向上述無人信息終端提供上述人工智能虛擬形象的步驟中，上述互動服務裝置對識別到的語音信息和非語音信息賦予加權值，當上述語音信息和非語音信息表示相同方向的結果或表示不同方向的結果時，上述互動服務裝置對識別到的語音信息和非語音信息賦予互不相同的加權值。

7.根據(jù)權利要求4所述的基于人工智能虛擬形象的互動服務方法，其特征在于，

在向上述無人信息終端提供上述人工智能虛擬形象的步驟中，通過從上述用戶的語音或影像中分析臉部表情、手勢、語氣來識別用戶的情緒狀態(tài)，并對應于所識別到的情緒狀態(tài)來改變?nèi)斯ぶ悄芴摂M形象的表情、手勢、語氣或添加效果。

8.一種基于人工智能虛擬形象的互動服務裝置，其特征在于，包括：

無人信息終端，安裝有麥克風陣列及視覺傳感器，從上述麥克風陣列收集聲音信號并從視覺傳感器收集影像信息；以及

互動服務裝置，接收上述聲音信號和影像信號來設定檢測區(qū)域，基于在上述檢測區(qū)域內(nèi)收集的用戶的語音信號和用戶的影像信號來識別主動說話人員，生成針對識別到的主動說話人員的反應，對人工智能虛擬形象進行三維渲染后，向上述無人信息終端提供在所渲染的人工智能虛擬形象反映上述反應的所渲染的人工智能虛擬形象。

9.根據(jù)權利要求8所述的基于人工智能虛擬形象的互動服務裝置，其特征在于，

上述互動服務裝置基于接收到的聲音信號并通過聲源定位方法來推定聲源方向，通過旁瓣信號對消方法限制來自側面的聲音輸入，針對接收到的影像信號應用背景分離技術來限制所識別到的對象之后的影像輸入。