[發(fā)明專利]一種基于區(qū)域優(yōu)化策略的手勢誤識降低方法

在審

• 申請?zhí)枺?/td>: 202210173094.7
• 申請日: 2022-02-24
• 公開（公告）號: CN114550296A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 劉富鈺;袁聰;鄭思源;石林;張琦
• 申請（專利權(quán)）人: 重慶長安汽車股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06F3/01
• 代理公司: 重慶博凱知識產(chǎn)權(quán)代理有限公司 50212
• 代理人: 張先蕓

1.一種基于區(qū)域優(yōu)化策略的手勢誤識降低方法，其特征在于，在實車內(nèi)設(shè)置手勢響應(yīng)區(qū)域，與車載攝像頭對應(yīng)的有效攝像區(qū)域范圍對應(yīng)；通過響應(yīng)區(qū)域的手勢識別將輸入事件輸出到相應(yīng)的應(yīng)用接口進行功能響應(yīng)；所述手勢響應(yīng)區(qū)域為動態(tài)手勢區(qū)域。

2.根據(jù)權(quán)利要求1所述基于區(qū)域優(yōu)化策略的手勢誤識降低方法，其特征在于，所述動態(tài)手勢區(qū)域為車輛中控位及后排中間的位置；通過車載攝像頭的位置設(shè)置，采集手勢響應(yīng)區(qū)域內(nèi)的動態(tài)手勢。

3.根據(jù)權(quán)利要求1所述基于區(qū)域優(yōu)化策略的手勢誤識降低方法，其特征在于，所述動態(tài)手勢包含根據(jù)手勢定義做的正樣本數(shù)據(jù)，以及根據(jù)用戶場景考慮的接近手勢定義，并建立動態(tài)手勢識別模型。

4.根據(jù)權(quán)利要求1所述基于區(qū)域優(yōu)化策略的手勢誤識降低方法，其特征在于，對采集的動態(tài)手勢數(shù)據(jù)進行數(shù)據(jù)清洗及數(shù)據(jù)預處理。

5.根據(jù)權(quán)利要求1所述基于區(qū)域優(yōu)化策略的手勢誤識降低方法，其特征在于，所述對動態(tài)手勢分為左滑、右滑和ignore三個類別的分類識別。

6.根據(jù)權(quán)利要求3所述基于區(qū)域優(yōu)化策略的手勢誤識降低方法，其特征在于，將動態(tài)手勢識別模型輸出的手勢動作的前N幀，至少有一幀手部所有關(guān)鍵點落在響應(yīng)區(qū)域內(nèi)，則判斷該手勢為有效手勢；否則，此手勢為無效手勢。

7.根據(jù)權(quán)利要求3所述基于區(qū)域優(yōu)化策略的手勢誤識降低方法，其特征在于，所述動態(tài)手勢識別模型輸入包含同一個Track ID n幀的21個手部關(guān)鍵點位置和置信度信息。

8.根據(jù)權(quán)利要求1所述基于區(qū)域優(yōu)化策略的手勢誤識降低方法，其特征在于，包括如下誤識降低流程：

1)數(shù)據(jù)采集：在實車內(nèi)，通過車載攝像頭采集手勢響應(yīng)區(qū)域內(nèi)的動態(tài)手勢；

2)手部檢測：將采集到的動態(tài)手勢數(shù)據(jù)通過手部檢測模塊，獲取圖像中手勢區(qū)域的位置，左上角(x1,y1),右下角(x2，y2)和手部框置信度；

3)手部跟蹤：對圖像中的手部區(qū)域進行追蹤并給予track ID，確保動作執(zhí)行者的手勢能夠被正確識別；

若已檢測到手，根據(jù)手部檢測階段檢測出的手部圖片，輸入關(guān)鍵點檢測模型，得出手部關(guān)鍵點的位置和置信度；

動態(tài)手勢識別模型基于卷積神經(jīng)網(wǎng)絡(luò)，將手部跟蹤模型和關(guān)鍵點檢測模型處理好的數(shù)據(jù)輸入到模型進行多次迭代訓練和模型參數(shù)，訓練好的動態(tài)手勢分類模型能有效學習不同類別圖像特征并進行識別；其中，動態(tài)手勢識別模型主要包含同一個Track ID n幀的21個手部關(guān)鍵點位置和置信度信息；

4)連續(xù)幀識別：如果連續(xù)N(4)幀都是同一動作，且置信度均大于Score_limit(0.9)，則確認此動作；其中此處的N和Score_limit均為閾值，可參數(shù)化，需要經(jīng)過實驗調(diào)整至合適值；

5)區(qū)域優(yōu)化限制策略：動態(tài)手勢識別模型輸出的手勢動作的前N幀，至少有一幀手部所有關(guān)鍵點落在響應(yīng)區(qū)域內(nèi)，則判斷該手勢為有效手勢；否則，此手勢為無效手勢；

6)車機應(yīng)用事件響應(yīng)：將事件輸出到相應(yīng)的應(yīng)用接口應(yīng)用對輸入事件進行功能響應(yīng)。

9.根據(jù)權(quán)利要求1所述基于區(qū)域優(yōu)化策略的手勢誤識降低方法，其特征在于，為了降低因手部檢測對分類準確率的影響，將手勢框向外擴大0.5倍，外擴方法如下：

x1′＝max(0，x1-(x2-x1)*0.5)，y1′＝max(0，y1-(y2-y1)*0.5)，

x2′＝min(w，x2-(x2-x1)*0.5)，y2′＝min(h，y2+(y2-y1)*0.5)；

其中，w和h分別為圖片分辨率的寬和高，x1和y1是手勢區(qū)域框左上角的坐標位置，x2和y2是右下角的坐標位置；

根據(jù)外擴后的區(qū)域位置，將手勢圖片單獨裁剪下來保存，并形成訓練集、驗證集和測試集。