[發明專利]基于三支決策優化智能座艙人機交互界面的方法及系統

有效

• 申請號: 201810823980.3
• 申請日: 2018-07-25
• 公開（公告）號: CN109101108B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 劉群;張剛強;王如琪
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

1.一種基于三支決策優化智能座艙人機交互界面的方法，其特征在于，所述方法包括：

S1、采集座艙內的手勢視頻，對其進行預處理，得到一系列靜態的手勢圖像；

S2、對手勢圖像中的手勢和背景進行分割處理，得到手勢區域圖像；

S3、為手勢區域圖像由粗粒度到細粒度進行多粒度表達；利用卷積神經網絡提取手勢區域圖像的多粒度特征；

S4、從粗粒度到細粒度計算每一粒度手勢區域圖像分類到各類別的條件概率，利用三支決策序貫的完成手勢識別；

S5、將識別后的手勢進行語義轉換，對人機交互界面根據語義轉換后的手勢識別結果進行相應的操作；

S6、采用加權求和的方式獲得最佳粒度，以該最佳粒度作為最細粒度，重復執行步驟S3～S5。

2.根據權利要求1所述的一種基于三支決策優化智能座艙人機交互界面的方法，其特征在于，所述為手勢區域圖像由粗粒度到細粒度進行多粒度表達，對于同一手勢區域圖像，其多粒度信息表示方式具體如下：

其中，A_i表示手勢區域圖像在不同粒度的信息，A₁表示手勢區域圖像在粗粒度的信息，A_n表示手勢區域圖像在細粒度的信息，即細粒度包含粗粒度；i＝1,2,...,n，n表示粒度數。

3.根據權利要求2所述的一種基于三支決策優化智能座艙人機交互界面的方法，其特征在于，所述利用卷積神經網絡提取手勢區域圖像的多粒度特征包括，利用卷積神經網絡中不同的卷積核，提取出手勢區域圖像的多粒度圖像特征。

4.根據權利要求1所述的一種基于三支決策優化智能座艙人機交互界面的方法，其特征在于，所述步驟S4包括從對手勢區域圖像的粗粒度特征進行三支決策，若能確定手勢的分類類別，則不繼續細粒度的特征提取和進一步的三支決策，否則提取更細粒度的特征進行三支決策，直到確定手勢區域圖像的分類類別。

5.根據權利要求1所述的一種基于三支決策優化智能座艙人機交互界面的方法，其特征在于，所述步驟S6包括采用加權求和的方式獲得最終每一粒度的人機交互界面優化結果，從而確定手勢區域圖像的最佳粒度；

Result＝w×Acc+(1-w)×Time

Time＝T₁+T₂

其中，Result為手勢區域圖像的最佳粒度，Acc表示手勢識別精度，Time表示手勢識別過程中花費的時間，w表示權值，T₁表示提取手勢區域圖像的多粒度特征的時間；T₂表示識別手勢的時間。

6.一種基于三支決策優化智能座艙人機交互界面的系統，其特征在于，所述系統包括電性連接的攝像頭、座艙手勢獲取模塊、手勢圖像分割模塊、多粒度特征提取模塊、三支決策手勢識別模塊、手勢語義轉換模塊和最佳粒度獲取模塊；

所述座艙手勢獲取模塊通過攝像頭采集座艙內的手勢視頻，將視頻幀轉變為一系列的靜態手勢圖像；

所述手勢圖像分割模塊用于將手勢圖像的手勢和背景進行分割處理，獲取手勢區域圖像；

所述手勢多粒度特征提取模塊用于提取出手勢區域圖像從粗粒度到細粒度的多粒度特征；

所述三支決策手勢識別模塊用于依據所提取的多粒度特征在每一粒度對手勢區域圖像進行三支決策，從而將手勢分類；

所述手勢語義轉換模塊用于將分類后的手勢進行語義轉換；

所述最佳粒度獲取模塊用于獲取最佳粒度，并將所述最佳粒度發送到多粒度特征提取模塊。

7.根據權利要求6所述的一種基于三支決策優化智能座艙人機交互界面的系統，其特征在于，所述手勢多粒度特征提取模塊包括卷積神經網絡單元，利用卷積神經網絡單元中的不同卷積核，提取出手勢區域圖像的多粒度圖像特征；多粒度信息表示方式具體為其中，A_i表示手勢區域圖像在不同粒度的信息，A₁表示手勢區域圖像在粗粒度的信息，A_n表示手勢區域圖像在細粒度的信息，即細粒度包含粗粒度；i＝1,2,...,n，n表示粒度數。