[發(fā)明專利]基于三支決策優(yōu)化智能座艙人機(jī)交互界面的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810823980.3
• 申請日: 2018-07-25
• 公開（公告）號: CN109101108B
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 劉群;張剛強(qiáng);王如琪
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 重慶輝騰律師事務(wù)所 50215
• 代理人: 王海軍

本發(fā)明屬于智能駕駛領(lǐng)域，為一種基于三支決策優(yōu)化智能座艙人機(jī)交互界面的方法及系統(tǒng)，方法包括采集座艙內(nèi)的手勢視頻，進(jìn)行預(yù)處理，得到手勢圖像；對手勢圖像的手勢和背景分割，得到手勢區(qū)域圖像；為其進(jìn)行多粒度表達(dá)，利用卷積神經(jīng)網(wǎng)絡(luò)提取手勢區(qū)域圖像的多粒度特征；從粗粒度到細(xì)粒度計算每一粒度手勢區(qū)域圖像分類到各類別的條件概率，利用三支決策序貫的完成手勢識別；將識別后的手勢進(jìn)行語義轉(zhuǎn)換，人機(jī)交互界面根據(jù)語義轉(zhuǎn)換后的結(jié)果進(jìn)行操作；采用加權(quán)求和的方式獲得最佳粒度，以該最佳粒度作為最細(xì)粒度。本發(fā)明不僅能夠更精準(zhǔn)的識別座艙內(nèi)手勢，執(zhí)行手勢命令，還能夠減少座艙人機(jī)交互界面的交互時間，為用戶提供更舒適的交互體驗。

技術(shù)領(lǐng)域

本發(fā)明屬于智能駕駛領(lǐng)域，尤其涉及一種基于三支決策優(yōu)化智能座艙人機(jī)交互界面的方法及系統(tǒng)。

背景技術(shù)

隨著人工智能和深度學(xué)習(xí)技術(shù)的發(fā)展，智能駕駛已經(jīng)吸引了很多人的關(guān)注。手勢識別作為智能駕駛中典型的人機(jī)交互方式之一，對座艙內(nèi)人機(jī)交互(HMI)界面的優(yōu)化設(shè)計是非常重要的。精準(zhǔn)快速的手勢識別不僅能夠提供更舒適的交互體驗，也能提高駕駛者的安全性。

當(dāng)前手勢識別方法主要有基于傳感器設(shè)備和基于計算機(jī)視覺的兩種方式。前者雖然有較好的識別率，但是其成本較大，交互體驗不能滿足當(dāng)前的需求，后者雖然采集手勢圖像比較容易，但是已有的包括：基于模板匹配、基于幾何特征提取、基于隱馬爾可夫模型和基于神經(jīng)網(wǎng)絡(luò)的手勢識別方法仍然存在模型識別精度低或者識別速度慢等問題，并不能很好的適應(yīng)當(dāng)前精準(zhǔn)實時的手勢識別需求。模型識別精度低的主要原因在于未能很好的提取手勢的特征，而識別速度慢的主要是因為模型太過復(fù)雜導(dǎo)致的，現(xiàn)有方法往往不能同時解決這兩個問題。

發(fā)明內(nèi)容

基于以上問題，利用深度神經(jīng)網(wǎng)絡(luò)提取特征的能力，結(jié)合多粒度信息表達(dá)方式和三支決策思想，選擇合適的粒度能夠同時解決手勢識別精度低和識別速度慢的優(yōu)化問題。

本發(fā)明提供了一種基于三支決策優(yōu)化智能座艙人機(jī)交互界面的方法，包括以下步驟：

S1、采集座艙內(nèi)的手勢視頻，對其進(jìn)行預(yù)處理，得到靜態(tài)的手勢圖像；

S2、對手勢圖像中的手勢和背景進(jìn)行分割處理，得到手勢區(qū)域圖像；

S3、為手勢區(qū)域圖像由粗粒度到細(xì)粒度進(jìn)行多粒度表達(dá)；利用卷積神經(jīng)網(wǎng)絡(luò)提取手勢區(qū)域圖像的多粒度特征；

S4、從粗粒度到細(xì)粒度計算每一粒度手勢區(qū)域圖像分類到各類別的條件概率，利用三支決策序貫的完成手勢識別；

S5、將識別后的手勢進(jìn)行語義轉(zhuǎn)換，對人機(jī)交互界面根據(jù)語義轉(zhuǎn)換后的手勢識別結(jié)果進(jìn)行相應(yīng)的操作；

S6、采用加權(quán)求和的方式獲得最佳粒度，以該最佳粒度作為最細(xì)粒度，重復(fù)執(zhí)行步驟S3～S5。

進(jìn)一步的，所述為手勢區(qū)域圖像由粗粒度到細(xì)粒度進(jìn)行多粒度表達(dá)，對于同一手勢區(qū)域圖像，其多粒度信息表示方式具體如下：

其中，A_i表示手勢區(qū)域圖像在不同粒度的信息，A₁表示手勢區(qū)域圖像在粗粒度的信息，A_n表示手勢區(qū)域圖像在細(xì)粒度的信息，即細(xì)粒度包含粗粒度；i＝1,2,...,n，n表示粒度數(shù)。

進(jìn)一步的，所述利用卷積神經(jīng)網(wǎng)絡(luò)提取手勢區(qū)域圖像的多粒度特征，包括利用卷積神經(jīng)網(wǎng)絡(luò)中不同的卷積核，提取手勢圖像的多粒度圖像特征。

進(jìn)一步的，所述步驟S4包括從手勢區(qū)域圖像提取粗粒度特征進(jìn)行三支決策，若能確定手勢的分類類別，則不繼續(xù)細(xì)粒度的特征提取和進(jìn)一步的三支決策，否則提取更細(xì)粒度的特征進(jìn)行三支決策，直到確定手勢區(qū)域圖像的分類類別。

進(jìn)一步的，所述步驟S6包括采用加權(quán)求和的方式獲得最終每一粒度的人機(jī)交互界面優(yōu)化結(jié)果，從而確定手勢對人機(jī)交互界面優(yōu)化效果最佳的粒度；