[發明專利]人機交互系統、方法及智能機器人

在審

• 申請號: 202111358580.8
• 申請日: 2021-11-12
• 公開（公告）號: CN114185430A
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 劉娜;袁野;張賽;王中磐;吳國棟
• 申請（專利權）人: 中原動力智能機器人有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0484;G06V40/16;B25J11/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;許羽冬

1.一種人機交互系統，其特征在于，所述人機交互系統包括圖像采集模塊、模型加速模塊、模型推理模塊和交互功能模塊；

所述圖像采集模塊，用于基于預設的初始化策略，對智能機器人的攝像頭進行參數初始化，并控制所述攝像頭采集與所述智能機器人進行交互時的用戶人臉圖像；

所述模型加速模塊，用于對預設的人臉識別模型進行模型轉換，得到TensorRT模型，并基于所述TensorRT模型，創建模型運行引擎；

所述模型推理模塊，用于基于所述模型運行引擎，對所述用戶人臉圖像進行識別推理，得到推理結果；

所述交互功能模塊，用于根據所述推理結果，向用戶反饋交互動作信息。

2.如權利要求1所述的人機交互系統，其特征在于，所述模型加速模塊，具體包括：

轉換單元，用于對所述人臉識別模型進行層間融合和精度校準，得到所述TensorRT模型；

序列化單元，用于對所述TensorRT模型進行序列化，得到優化文件，并將所述優化文件存儲至預設存儲空間；

創建單元，用于讀取所述預設存儲空間中的優化文件，并對所述優化文件進行反序列化，以及根據反序列化后的所述優化文件，創建所述模型運行引擎。

3.如權利要求1所述的人機交互系統，其特征在于，所述模型推理模塊，具體包括：

檢測單元，用于對所述用戶人臉圖像進行人臉特征提取，得到第一人臉特征，并根據所述第一人臉特征，檢測所述用戶人臉圖像中的人臉區域和人臉關鍵點；

對齊單元，用于利用普氏分析法，對所述用戶人臉圖像中的人臉區域進行角度矯正，以及對所述用戶人臉圖像中的人臉關鍵點進行對齊變換，得到目標人臉圖像；

確定單元，用于對所述目標人臉圖像進行人臉特征提取，得到第二人臉特征，并根據所述第二人臉特征，確定所述用戶人臉圖像對應的所述推理結果。

4.如權利要求3所述的人機交互系統，其特征在于，所述檢測單元，具體包括：

第一提取子單元，用于對所述用戶人臉圖像進行整體特征提取，得到整體特征；

第二提取子單元，用于根據所述整體特征提取所述用戶人臉圖像的多尺度特征，得到多尺度特征圖；

輸出子單元，用于利用預設的SSH算法，根據所述多尺度特征圖，輸出所述用戶人臉圖像中的人臉區域和人臉關鍵點。

5.如權利要求3所述的人機交互系統，其特征在于，所述對齊單元，具體包括：

第一確定子單元，用于利用最小二乘法，確定所述用戶人臉圖像中的人臉區域與預設標準區域之間的人臉傾斜角度；

旋轉子單元，用于根據所述人臉傾斜角度，對所述用戶人臉圖像中的人臉區域進行旋轉變換；

對齊子單元，用于對旋轉變換后的所述用戶人臉圖像中的人臉關鍵點進行對齊變換，得到所述目標人臉圖像。

6.如權利要求3所述的人機交互系統，其特征在于，所述確定單元，具體包括：

增強子單元，用于對所述目標人臉圖像進行水平翻轉，并對翻轉前和翻轉后的兩張所述目標人臉圖像進行拼接，得到目標拼接圖像；

第三提取子單元，用于對所述目標拼接圖像進行人臉特征提取，得到所述第二人臉特征；

查詢子單元，用于遍歷預設的人臉數據庫，查詢與所述第二人臉特征的相似度最高，且相似度大于預設閾值的目標特征ID；

第二確定子單元，用于根據所述目標特征ID，確定所述用戶人臉圖像對應的推理結果。

7.如權利要求1所述的人機交互系統，其特征在于，所述交互功能模塊，具體包括：

運動控制單元，用于根據所述推理結果中的用戶位置信息，控制所述智能機器人運動至靠近用戶的目標位置；

語音單元，用于將預設語音信息與所述推理結果中的用戶身份信息進行結合，得到目標語音信息，向用戶播報所述目標語音信息；

表情控制單元，用于根據所述推理結果中的用戶表情信息，模擬用戶表情。