[發(fā)明專利]應(yīng)用于智能機器人的多模態(tài)交互方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201611100907.0
• 申請日: 2016-12-05
• 公開（公告）號: CN106648078B
• 公開（公告）日: 2020-06-02
• 發(fā)明（設(shè)計）人: 丁超
• 申請（專利權(quán)）人: 北京光年無限科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62
• 代理公司: 北京聿華聯(lián)合知識產(chǎn)權(quán)代理有限公司 11611
• 代理人: 張文娟;朱繪

1.一種應(yīng)用于智能機器人的多模態(tài)交互方法，包括：

圖像獲取步驟，獲取包含執(zhí)行手勢動作的手部的深度圖像和灰度圖像；

姿態(tài)分類解析步驟，對濾波后的深度圖像進行分布統(tǒng)計，在從高像素到低像素的方向?qū)ふ业谝粋€大于設(shè)定閾值的高峰，在深度圖像中僅留下高峰、左右3個像素閾的像素，確定為手部區(qū)域；找出所有輪廓，留下最大輪廓，測算外接矩形生成圖層蒙版，提取出灰度圖像中在該矩形內(nèi)的部分像素，然后，在經(jīng)過矩形框提取出的灰度圖像內(nèi)構(gòu)建多個比例尺度的滑動窗口，獲取圖像不同區(qū)域的特征值；將獲取的特征值輸入至預先進行模型訓練得到的分類器中，分類器通過篩選輸出可能分類和對應(yīng)投票，找出所有投票值最大的分類，并將該投票值與某設(shè)定閾值進行比較，若該投票值大于該閾值則認定為分類準確，輸出手勢動作對應(yīng)的姿態(tài)分類，若小于該閾值則認定為無目標；以及

多模態(tài)輸出步驟，根據(jù)解析結(jié)果，執(zhí)行與手勢動作對應(yīng)的多模態(tài)輸出指令。

2.根據(jù)權(quán)利要求1所述的多模態(tài)交互方法，其特征在于，在姿態(tài)分類解析步驟中，

對深度圖像和灰度圖像進行圖像處理，根據(jù)預設(shè)的手勢姿態(tài)分類庫確定手勢動作的姿態(tài)；

判斷該手勢動作是否具備靜態(tài)屬性，在該手勢動作對應(yīng)的姿態(tài)不屬于靜止手勢范圍內(nèi)，則進一步判斷該手勢動作是否具有滑動屬性。

3.根據(jù)權(quán)利要求2所述的多模態(tài)交互方法，其特征在于，在判斷手勢動作是否具有滑動屬性的步驟中，

記錄當前手部在背景圖像中所處的位置和當前圖像獲取時刻，并將該位置記為起點；

若在有效時間段內(nèi)，捕捉到另一包含執(zhí)行相同手勢動作的手部的圖像，且手部在同一背景圖像的位置與所述起點之間具有有效距離，則確定該手勢動作具有滑動屬性。

4.一種應(yīng)用于智能機器人的多模態(tài)交互系統(tǒng)，包括：

圖像獲取單元，其用于獲取包含執(zhí)行手勢動作的手部的深度圖像和灰度圖像；

姿態(tài)分類解析單元，其對濾波后的深度圖像進行分布統(tǒng)計，在從高像素到低像素的方向?qū)ふ业谝粋€大于設(shè)定閾值的高峰，在深度圖像中僅留下高峰、左右3個像素閾的像素，確定為手部區(qū)域；找出所有輪廓，留下最大輪廓，測算外接矩形生成圖層蒙版，提取出灰度圖像中在該矩形內(nèi)的部分像素，然后，在經(jīng)過矩形框提取出的灰度圖像內(nèi)構(gòu)建多個比例尺度的滑動窗口，獲取圖像不同區(qū)域的特征值；將獲取的特征值輸入至預先進行模型訓練得到的分類器中，分類器通過篩選輸出可能分類和對應(yīng)投票，找出所有投票值最大的分類，并將該投票值與某設(shè)定閾值進行比較，若該投票值大于該閾值則認定為分類準確，輸出手勢動作對應(yīng)的姿態(tài)分類，若小于該閾值則認定為無目標；以及

多模態(tài)輸出單元，其用于根據(jù)解析結(jié)果，執(zhí)行與手勢動作對應(yīng)的多模態(tài)輸出指令。

5.根據(jù)權(quán)利要求4所述的多模態(tài)交互系統(tǒng)，其特征在于，所述姿態(tài)分類解析單元進一步包括，

姿態(tài)確定子單元，其用于對深度圖像和灰度圖像進行圖像處理，根據(jù)預設(shè)的手勢姿態(tài)分類庫確定手勢動作的姿態(tài)；

屬性確定子單元，其用于判斷該手勢動作是否具備靜態(tài)屬性，在該手勢動作對應(yīng)的姿態(tài)不屬于靜止手勢范圍內(nèi)，則進一步判斷該手勢動作是否具有滑動屬性。

6.根據(jù)權(quán)利要求5所述的多模態(tài)交互系統(tǒng)，其特征在于，所述屬性確定子單元進一步用于：

記錄當前手部在背景圖像中所處的位置和當前圖像獲取時刻，并將該位置記為起點；

若在有效時間段內(nèi)，捕捉到另一包含執(zhí)行相同手勢動作的手部的圖像，且手部在同一背景圖像的位置與所述起點之間具有有效距離，則確定該手勢動作具有滑動屬性。