[發明專利]一種基于手勢和語音識別的機器人人機交互方法和裝置

有效

• 申請號: 201510795938.1
• 申請日: 2015-11-18
• 公開（公告）號: CN105468145B
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 丁希侖;齊靜
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 姜榮麗

1.一種基于手勢和語音識別的機器人人機交互裝置，其特征在于：包括傳感器模塊、手勢識別模塊、語音識別模塊、信息融合模塊、信息確認模塊、機器人控制模塊和應急求救模塊；將手勢識別模塊、語音識別模塊、信息融合模塊、信息確認模塊、機器人控制模塊和應急求救模塊抽象為不同結點，即ROS中的不同node，則模塊間的通信看作不同結點間通信，故模塊間以ROS中topic形式通信，通信的內容即為topic中的message；傳感器模塊包括RGB-D攝像頭、溫濕度傳感器、CH₄檢測傳感器和CO檢測傳感器，所述的RGB-D攝像頭采集的RGB圖像信息和深度圖像信息發送給手勢識別模塊或應急求救模塊；所述的RGB-D攝像頭具有內置的麥克，麥克采集的語音信息發送給語音識別模塊；所述的信息確認模塊通過喇叭廣播的形式向用戶廣播應急信息，以便得到用戶確認；所述的溫濕度傳感器、CH₄檢測傳感器和CO檢測傳感器分別用于采集溫濕度、空氣中CH₄和CO氣體濃度，并將采集的數據發送給應急求救模塊；手勢識別模塊根據RGB-D攝像頭采集的RGB圖像信息和深度圖像信息進行手勢識別，得到手勢識別結果發送給信息融合模塊；語音識別模塊將麥克采集的語音信息進行語音識別，得到特定文字信息，作為語音識別結果，并將識別結果發送給信息融合模塊；信息融合模塊是將手勢識別結果和語音識別結果在語義層進行信息融合，生成一個最終融合結果，當最終融合結果是控制信息時，信息融合模塊則將控制信息發送給機器人控制模塊，控制機器人完成特定任務；當最終融合結果是應急信息時，信息融合模塊則發送應急信息給信息確認模塊，信息確認模塊通過喇叭廣播的形式詢問用戶是否要執行，得到肯定答復或在設定時間內沒有應答，信息確認模塊向應急求救模塊發送應急信息；應急求救模塊接收到信息確認模塊傳來的應急消息后，或傳感器模塊采集到的溫度、CH₄含量或CO含量超過一定值時，則應急求救模塊向登記的特定人發送語音、短信和彩信求救；

所述的信息融合模塊采用決策層信息融合方法；

所述的信息融合模塊，如果只有手勢信息輸入，將手勢識別結果作為最終融合結果；如果只有語音信息輸入，將語音識別結果作為最終融合結果；如果既有語音信息，又有手勢信息輸入，且手勢識別結果和語音識別結果不沖突，則信息融合模塊將手勢和語音的最終融合結果選擇性的發給機器人控制模塊或信息確認模塊；當手勢識別結果和語音識別結果沖突時，將兩種結果直接發送給信息確認模塊，再由信息確認模塊向用戶確認執行何種操作；

所述的信息融合模塊進行信息融合分三個層次的融合：數據層、特征層和決策層，這三個層次的不同在于融合的數據類型不同：數據層是直接對采集的原始數據進行融合；特征層是采集的原始數據經特征提取后，再進行綜合分析和處理；決策層從具體決策的需求出發，直接針對決策目標，充分利用提取的特征信息，是三級融合的最終結果，直接影響決策水平；

在手勢識別模塊做如下預定義：

對于六足腿/臂復合式移動機器人，基于圖像的單只手的手勢做以下定義：一根手指，代表讓機器人抬起一條腿；兩根手指，代表讓機器人抬起兩條腿；三根手指，代表讓機器人抬起三條腿，如果讓機器人行走，則意味著讓機器人以“3+3”步態行走；四根手指，代表讓機器人進行輪腿切換，初始狀態默認為“腿行”方式；五根手指，代表用戶要求機器人發出求救信息；數字6的手勢即只是伸開大拇指和小指，代表讓機器人六條腿著地；OK手勢，代表“好”“是”確認操作，是對信息確認模塊的肯定回答；握拳，代表“不是”等否定含義，是對信息確認模塊的否定回答；

對基于視頻的手勢做以下定義：手向上運動，代表讓機器人向前走；手向下運動，代表讓機器人向后走；手向左運動，代表讓機器人左轉彎；手向右運動，代表讓機器人右轉彎；手向前推，代表讓機器人停止運動；手順時針畫圓，代表讓機器人原地順時針旋轉；手逆時針畫圓，代表讓機器人原地逆時針旋轉。

2.一種基于手勢和語音識別的機器人人機交互方法，其特征在于：根據權利要求1所述的一種基于手勢和語音識別的機器人人機交互裝置，所述的方法具體包括以下步驟，

第一步，判斷是否有交互對象，如果有交互對象，則開啟交互模式，轉第二步；如果沒有交互對象，機器人開啟檢測模式；所述的檢測模式，用來檢測環境狀況；在檢測模式中，應急求救模塊通過傳感器模塊中的溫濕度傳感器、CH₄檢測傳感器和CO檢測傳感器檢測溫度、CH₄含量或CO含量，當溫度、CH₄含量或CO含量超過一定值時，應急求救模塊檢測到超標數據后向特定人發送語音信息、短信和彩信求救；

第二步，信息輸入：手勢識別模塊和語音識別模塊實時進行信息采集，如果采集到信息，則執行第三步，否則執行第五步；

第三步，手勢識別模塊通過RGB-D攝像頭采集深度圖像信息和RGB圖像信息，進行預定義手勢的識別，并將手勢識別結果發送至信息融合模塊；與此同時，語音識別模塊通過RGB-D攝像頭內置麥克采集音頻信息，通過語音識別軟件轉換為特定文本信息作為語音識別結果，并將語音識別結果發送至信息融合模塊；信息融合模塊將語音識別結果和手勢識別結果從語義層進行信息融合，得到最終融合結果；

所述的信息融合模塊，如果只有手勢信息輸入，將手勢識別結果作為最終融合結果；如果只有語音信息輸入，將語音識別結果作為最終融合結果；如果既有語音信息，又有手勢信息輸入，且手勢識別結果和語音識別結果不沖突，則信息融合模塊將手勢和語音的最終融合結果選擇性的發給機器人控制模塊或信息確認模塊；當手勢識別結果和語音識別結果沖突時，將兩種結果直接發送給信息確認模塊，再由信息確認模塊向用戶確認執行何種操作；

所述的信息融合模塊進行信息融合分三個層次的融合：數據層、特征層和決策層，這三個層次的不同在于融合的數據類型不同：數據層是直接對采集的原始數據進行融合；特征層是采集的原始數據經特征提取后，再進行綜合分析和處理；決策層從具體決策的需求出發，直接針對決策目標，充分利用提取的特征信息，是三級融合的最終結果，直接影響決策水平；

第四步，執行與反饋，根據信息融合模塊的最終融合結果發出相應指令；

如果最終融合結果是控制信息，則發出相應控制指令給機器人控制模塊，控制機器人運動；如果最終融合結果是應急信息，則發應急信息給信息確認模塊，信息確認模塊通過語音形式廣播給用戶，詢問用戶是否要執行，得到肯定答復或在設定時間內沒有應答，則信息確認模塊發送應急信息給應急求救模塊，轉第六步；

第五步，若手勢識別模塊和語音識別模塊在設定時間內沒有信息輸入，并且這種狀況持續一定時間后，信息融合模塊發送應急信息給信息確認模塊，讓信息確認模塊根據當前任務進行提示性語音詢問，轉第一步；

第六步，應急求救；

應急求救模塊接收到信息確認模塊發送過來的應急信息，或傳感器模塊采集到的溫度、CH₄含量或CO含量超過一定值時，應急求救模塊向預登記的特定人發送語音、短信或彩信求救。