[發明專利]人機交互系統、方法及智能機器人

在審

• 申請號: 202111358580.8
• 申請日: 2021-11-12
• 公開（公告）號: CN114185430A
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 劉娜;袁野;張賽;王中磐;吳國棟
• 申請（專利權）人: 中原動力智能機器人有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0484;G06V40/16;B25J11/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;許羽冬

本申請公開了一種人機交互系統、方法及智能機器人，人機交互系統包括圖像采集模塊、模型加速模塊、模型推理模塊和交互功能模塊；圖像采集模塊，用于基于預設的初始化策略，對智能機器人的攝像頭進行參數初始化，并控制攝像頭采集與智能機器人進行交互時的用戶人臉圖像；模型加速模塊，用于對預設的人臉識別模型進行模型轉換，得到TensorRT模型，并基于TensorRT模型，創建模型運行引擎；模型推理模塊，用于基于模型運行引擎，對用戶人臉圖像進行識別推理，得到推理結果；交互功能模塊，用于根據推理結果，向用戶反饋交互動作信息。本實施例能夠保證人臉識別結果的準確度，提高人臉識別速度以及降低硬件成本。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種人機交互系統、方法及智能機器人。

背景技術

人工智能技術是用于模擬、延伸和擴展人的智能的技術科學。其中運用人工智能技術中的深度卷積神經網絡可以更好地提取用戶特征，使得智能機器能夠更準確的根據用戶特征識別用戶行為，從而便于與用戶進行人機交互。

目前，智能機器大部分只有語音識別功能和聯網功能，如智能音箱和智能掃地機器人等，人機交互功能較為單一。但是由于深度卷積神經網絡的復雜度以及運算量非常大，對邊緣設備具有較高要求，考慮到邊緣設備落地成本問題，所以實際部署到智能機器人硬件上的深度卷積神經網絡，通常難以實現基于用戶人臉特征，實時、高效和準確的識別用戶身份并快速作出交互動作。

發明內容

本申請提供了一種人機交互系統、方法及智能機器人，以解決現有深度卷積神經網絡在智能機器人上的人臉識別效果差的技術問題。

為了解決上述技術問題，本申請實施例提供了一種應用于智能機器人的人機交互系統，所述人機交互系統包括圖像采集模塊、模型加速模塊、模型推理模塊和交互功能模塊；

所述圖像采集模塊，用于基于預設的初始化策略，對智能機器人的攝像頭進行參數初始化，并控制所述攝像頭采集與所述智能機器人進行交互時的用戶人臉圖像；

所述模型加速模塊，用于對預設的人臉識別模型進行模型轉換，得到TensorRT模型，并基于所述TensorRT模型，創建模型運行引擎；

所述模型推理模塊，用于基于所述模型運行引擎，對所述用戶人臉圖像進行識別推理，得到推理結果；

所述交互功能模塊，用于根據所述推理結果，向用戶反饋交互動作信息。

本實施例通過圖像采集模塊基于預設初始化策略，對智能機器人的攝像頭進行參數初始化，以能夠采用模型測試時的方式采用圖像，保證數據集質量，從而保證人臉識別結果的準確度；通過模型加速模塊對預設的人臉識別模型進行模型轉換，以降低模型復雜度，提高人臉識別速度以及降低適配該模型的硬件成本；以及通過模型推理模塊和交互功能模型，實現智能機器人與用戶交互。

在一實施例中，所述模型加速模塊，具體包括：

轉換單元，用于對所述人臉識別模型進行層間融合和精度校準，得到所述TensorRT模型；

序列化單元，用于對所述TensorRT模型進行序列化，得到優化文件，并將所述優化文件存儲至預設存儲空間；

創建單元，用于讀取所述預設存儲空間中的優化文件，并對所述優化文件進行反序列化，以及根據反序列化后的所述優化文件，創建所述模型運行引擎。

在一實施例中，所述模型推理模塊，具體包括：

檢測單元，用于對所述用戶人臉圖像進行人臉特征提取，得到第一人臉特征，并根據所述第一人臉特征，檢測所述用戶人臉圖像中的人臉區域和人臉關鍵點；

對齊單元，用于利用普氏分析法，對所述用戶人臉圖像中的人臉區域進行角度矯正，以及對所述用戶人臉圖像中的人臉關鍵點進行對齊變換，得到目標人臉圖像；