[發明專利]一種基于三維手勢識別的車載交互方法、裝置及系統

在審

• 申請號: 202010002671.7
• 申請日: 2020-01-02
• 公開（公告）號: CN113065383A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 丁馳;胡云卿;林軍;袁浩;游俊;熊群芳;岳偉
• 申請（專利權）人: 中車株洲電力機車研究所有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01;G06K9/20;G06K9/62
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 徐偉

本發明提供了一種基于三維手勢識別的車載交互方法、裝置及系統。上述車載交互方法具體包括：獲取車輛駕駛員區域的RGBD圖像；基于上述RGBD圖像提取上述車輛駕駛員的手部區域；基于連續多幀RGBD圖像中的手部區域生成手部運動軌跡；判斷上述手部運動軌跡是否與若干預設手勢模型中的一個匹配；響應于匹配成功，獲取匹配的預設手勢模型所對應的交互指令為該手部運動軌跡對應的交互指令；以及基于上述交互指令調整顯示在車輛的第一顯示設備和/或第二顯示設備上的交互頁面。本發明還提供了實現上述方法的裝置及系統。根據本發明所提供的車載交互方法、裝置及系統，車輛駕駛員能夠通過非接觸式方法對車輛的交互顯示設備進行各種交互操作。

技術領域

本發明涉及人機交互領域，尤其涉及基于三維手勢識別的車載交互方法、裝置及系統。

背景技術

當前，人機交互技術已經從以計算機為中心逐步轉移到以用戶為中心，是多種通道、多種媒體的交互技術。手勢是一種自然、直觀、易于學習的人機交互手段。以人手直接作為計算機的輸入設備，人機間的通訊將不再需要中間的媒體，用戶可以簡單地定義一種適當的手勢來對周圍的機器進行控制。

隨著現代移動設備、傳感器和三維顯示技術的不斷進步，各種新的三維傳感器紛紛出現。三維攝像頭可以同時提供彩色和深度數據，能夠避免利用二位圖像進行手勢識別時因視角產生的歧義問題，幫助生成具有明確含義的手勢識別結果，他們通過單一的視角捕獲目標物的三維運動狀態，進行三維人機交互操作。

人機交互技術可以廣泛應用于各種領域，在車載領域，尤其是目前較為先進的智能軌道電車車輛，由于駕駛員在車輛行駛過程中需要跟蹤的運行參數較多，而目前車載顯示大屏及抬頭顯示器的顯示面積有限，車輛駕駛員通常需要在駕駛過程中使用接觸式點選切換平級菜單或進入某項子菜單才能根據完整的運行數據，但一些按鈕被安排在方向盤下或較遠位置不方便駕駛員使用。為了查看完整的運行數據，很有可能會造成駕駛員的思想不集中，反而影響車輛的正常運行，造成行車安全隱患。

因此，亟需要一種車載交互方式，能夠改變傳統的觸摸或按鈕式交互方式，能夠使駕駛員通過非接觸式的方式實現人機交互操作，從而能夠在正常駕駛姿勢時更便捷的實現多種控制操作，提高車輛的行車安全。

發明內容

以下給出一個或多個方面的簡要概述以提供對這些方面的基本理解。此概述不是所有構想到的方面的詳盡綜覽，并且既非旨在指認出所有方面的關鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡化形式給出一個或多個方面的一些概念以為稍后給出的更加詳細的描述之序。

為了解決上述問題，本發明提供了一種基于三維手勢識別的車載交互方法，包括：

獲取車輛駕駛員區域的RGBD圖像；

基于上述RGBD圖像提取上述車輛駕駛員的手部區域；

基于連續多幀RGBD圖像中的手部區域生成手部運動軌跡；

判斷上述手部運動軌跡是否與若干預設手勢模型中的一個匹配；

響應于匹配成功，獲取匹配的預設手勢模型所對應的交互指令為該手部運動軌跡對應的交互指令；以及

基于上述交互指令調整顯示在車輛的第一顯示設備和/或第二顯示設備上的交互頁面。

在上述車載交互方法的一實施例中，可選的，基于上述RGBD圖像提取上述車輛駕駛員的手部區域進一步包括：

將上述RGBD圖像解析為RGB圖像和深度圖像；

基于手部膚色從上述RGB圖像中提取第一手部區域；

基于深度值從上述深度圖像中提取第二手部區域；以及

提取上述手部區域為上述第一手部區域和上述第二手部區域的重疊區域。