[發明專利]基于多模態智能機器人的交互身份鑒別與跟蹤方法及系統

有效

• 申請號: 201711110949.7
• 申請日: 2017-11-13
• 公開（公告）號: CN107808145B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 劉揚;李佩琛;邵陽雪
• 申請（專利權）人: 河南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L17/22;G10L17/18;G10L17/02;G06F3/0484;G06F21/32
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 陳勇

1.一種基于多模態智能機器人的交互身份鑒別與跟蹤方法，其特征在于，包括以下步驟：

步驟1：采集交互對象的多通道信息，包括：采集交互者的聲紋和語音信息；采集交互者的人臉RGB圖像和肢體信息；采集交互者的人臉紅外圖像；采集交互者的人臉深度圖像和肢體動作；

步驟2：采用深度神經網絡提取激活特征，構成多通道交互信息的多模態特征，包括：

步驟21：對語音信息做短時傅立葉變換生成聲譜圖，利用聲紋深度信念網絡提取聲譜圖的激活特征構造語音的聲紋特征；

步驟22：對采集的人臉RGB圖像、人臉紅外圖像和人臉深度圖像進行配準，構成復合人臉圖像，采用人臉深度卷積網絡提取復合人臉的圖像特征；

步驟3：采用跨模態概率認知的集成學習，對人臉圖像特征和聲紋特征進行身份鑒別；

步驟4：對由跨模態屬性鑒別出的交互者身份進行注冊和跟蹤。

2.根據權利要求1所述的基于多模態智能機器人的交互身份鑒別與跟蹤方法，其特征在于，所述步驟3包括以下步驟：

步驟31：提取時間和空間上下文；

步驟32：檢索與輸入多模態屬性特征相似的交互身份知識圖譜；

步驟33：在交互身份的時間和空間上下文及知識圖譜先驗下，采用概率認知集成聲紋和人臉圖像特征，實現交互者的跨模態身份鑒別。

3.根據權利要求1所述的基于多模態智能機器人的交互身份鑒別與跟蹤方法，其特征在于，所述步驟4包括以下步驟：

步驟41：檢查交互歷史記錄是否有當前交互者的身份信息，如無注冊信息則新添加交互者記錄，同時更新交互者身份的時間和空間上下文，并同步更新交互身份與多模態屬性特征的知識圖譜信息；

步驟42：跟蹤交互者身份信息和交互意圖，根據交互身份和交互意圖，執行交互任務。

4.一種基于多模態智能機器人的交互身份鑒別與跟蹤系統，其特征在于，包括：

多通道信息采集模塊，用于采集交互對象的多通道信息，包括：

第一采集模塊，用于采集交互者的聲紋和語音信息；

第二采集模塊，用于采集交互者的人臉RGB圖像和肢體信息；

第三采集模塊，用于采集交互者的人臉紅外圖像；

第四采集模塊，用于采集交互者的人臉深度圖像和肢體動作；多模態特征提取模塊，用于采用深度神經網絡提取激活特征，構成多通道交互信息的多模態特征，包括：

第一特征提取模塊，用于對語音信息做短時傅立葉變換生成聲譜圖，利用聲紋深度信念網絡提取聲譜圖的激活特征構造語音的聲紋特征；

第二特征提取模塊，用于對采集的人臉RGB圖像、人臉紅外圖像和人臉深度圖像進行配準，構成復合人臉圖像，采用人臉深度卷積網絡提取復合人臉的圖像特征；

跨模態身份鑒別模塊，用于采用跨模態概率認知的集成學習，對人臉圖像特征和聲紋特征進行身份鑒別；

交互對象注冊跟蹤模塊，用于對由跨模態屬性鑒別出的交互者身份進行注冊和跟蹤。

5.根據權利要求4所述的基于多模態智能機器人的交互身份鑒別與跟蹤系統，其特征在于，所述跨模態身份鑒別模塊包括：

上下文提取模塊，用于提取時間和空間上下文；

知識圖譜檢索模塊，用于檢索與輸入多模態屬性特征相似的交互身份知識圖譜；

跨模態身份鑒別模塊，用于在交互身份的時間和空間上下文及知識圖譜先驗下，采用概率認知集成聲紋和人臉圖像特征，實現交互者的跨模態身份鑒別。

6.根據權利要求4所述的基于多模態智能機器人的交互身份鑒別與跟蹤系統，其特征在于，所述交互對象注冊跟蹤模塊包括：

注冊模塊，用于檢查交互歷史記錄是否有當前交互者的身份信息，如無注冊信息則新添加交互者記錄，同時更新交互者身份的時間和空間上下文，并同步更新交互身份與多模態屬性特征的知識圖譜信息；

跟蹤模塊，用于跟蹤交互者身份信息和交互意圖，根據交互身份和交互意圖，執行交互任務。