[發明專利]應用于智能機器人的多模態交互方法及系統

有效

• 申請號: 201611100907.0
• 申請日: 2016-12-05
• 公開（公告）號: CN106648078B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 丁超
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62
• 代理公司: 北京聿華聯合知識產權代理有限公司 11611
• 代理人: 張文娟;朱繪

本發明公開了一種應用于智能機器人的多模態交互方法及系統，該方法包括：圖像獲取步驟，獲取包含執行手勢動作的手部的深度圖像和灰度圖像；姿態分類解析步驟，對深度圖像和灰度圖像進行處理，解析出手勢動作所表示的姿態和具備的屬性；以及多模態輸出步驟，根據解析結果，執行與手勢動作對應的多模態輸出指令。本發明能夠實現采用手勢識別的方式與用戶進行多模態交互，提高了用戶體驗。

技術領域

本發明涉及智能機器人領域，尤其涉及一種應用于智能機器人的多模態交互方法及系統，

背景技術

隨著智能機器人產品的逐漸普及，更多的智能機器人走進家庭，成為孩子的玩伴和大人的管家。

在現有技術中，智能機器人在與用戶進行多模態交互的過程中，一般是通過語音識別技術來識別用戶的語音指令，再根據指令內容執行相應的多模態輸出。這種交互方式較為單調，而且對于某些情況特殊的用戶，語音方式較為不便，從而無法滿足用戶日益增長的體驗需求。

因此，亟需提供一種新型的多模態交互方法，能夠提高用戶體驗，滿足用戶需求。

發明內容

本發明所要解決的技術問題之一是需要提供一種能夠采用手勢識別的技術與用戶進行多模態交互的方法及系統。

為了解決上述技術問題，本申請的實施例首先提供了一種應用于智能機器人的多模態交互方法，包括：圖像獲取步驟，獲取包含執行手勢動作的手部的深度圖像和灰度圖像；姿態分類解析步驟，對深度圖像和灰度圖像進行處理，解析出手勢動作所表示的姿態和具備的屬性；以及多模態輸出步驟，根據解析結果，執行與手勢動作對應的多模態輸出指令。

優選地，在姿態分類解析步驟中，對深度圖像和灰度圖像進行圖像處理，根據預設的手勢姿態分類庫確定手勢動作的姿態；判斷該手勢動作是否具備靜態屬性，在該手勢動作對應的姿態不屬于靜止手勢范圍內，則進一步判斷該手勢動作是否具有滑動屬性。

優選地，在判斷手勢動作是否具有滑動屬性的步驟中，記錄當前手部在背景圖像中所處的位置和當前圖像獲取時刻，并將該位置記為起點；若在有效時間段內，捕捉到另一包含執行相同手勢動作的手部的圖像，且手部在同一背景圖像的位置與所述起點之間具有有效距離，則確定該手勢動作具有滑動屬性。

優選地，在姿態分類解析步驟中，對經過預處理后的深度圖像進行直方圖統計，找出圖像中的手部輪廓，并根據手部輪廓獲取矩形框；在經過所述矩形框提取出的灰度圖像內構建多個比例尺度的滑動窗口，獲取圖像不同區域的特征值；根據獲取的特征值，從預設的手勢姿態分類庫中確定手勢動作的姿態。

另一方面，本發明實施例還提供了一種應用于智能機器人的多模態交互系統，包括：圖像獲取單元，其用于獲取包含執行手勢動作的手部的深度圖像和灰度圖像；姿態分類解析單元，其用于對深度圖像和灰度圖像進行處理，解析出手勢動作所表示的姿態和具備的屬性；以及多模態輸出單元，其用于根據解析結果，執行與手勢動作對應的多模態輸出指令。

優選地，所述姿態分類解析單元進一步包括，姿態確定子單元，其用于對深度圖像和灰度圖像進行圖像處理，根據預設的手勢姿態分類庫確定手勢動作的姿態；屬性確定子單元，其用于判斷該手勢動作是否具備靜態屬性，在該手勢動作對應的姿態不屬于靜止手勢范圍內，則進一步判斷該手勢動作是否具有滑動屬性。

優選地，所述屬性確定子單元進一步用于：記錄當前手部在背景圖像中所處的位置和當前圖像獲取時刻，并將該位置記為起點；若在有效時間段內，捕捉到另一包含執行相同手勢動作的手部的圖像，且手部在同一背景圖像的位置與所述起點之間具有有效距離，則確定該手勢動作具有滑動屬性。

優選地，所述姿態確定子單元進一步用于：對經過預處理后的深度圖像進行直方圖統計，找出圖像中的手部輪廓，并根據手部輪廓獲取矩形框；在經過所述矩形框提取出的灰度圖像內構建多個比例尺度的滑動窗口，獲取圖像不同區域的特征值；根據獲取的特征值，從預設的手勢姿態分類庫中確定手勢動作的姿態。