[發明專利]一種基于攝像頭的車載手勢識別方法及系統

在審

• 申請號: 201811042072.7
• 申請日: 2018-09-07
• 公開（公告）號: CN110889306A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 李彥琳;石含飛;何俏君;郭繼舜;徐偉
• 申請（專利權）人: 廣州汽車集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06F3/01
• 代理公司: 深圳匯智容達專利商標事務所(普通合伙) 44238
• 代理人: 潘中毅;熊賢卿

1.一種基于攝像頭的車載手勢識別方法，其特征在于，所述方法包括：

自車內預定區域連續地獲取一組手勢圖像，所述一組手勢圖像中相鄰手勢圖像的獲取時間差在預設時間閾值內，所述一組手勢圖像包括至少兩張圖像；

通過卷積神經網絡識別出所述一組手勢類別及所述一組手勢類別的順序。

2.如權利要求1所述的方法，其特征在于，所述方法還包括：

建立卷積神經網絡，輸入包含手勢和手勢類別標識的圖像對所述卷積神經網絡進行訓練。

3.如權利要求1所述的方法，其特征在于，所述卷積神經網絡總共三十四層，從上到下依次設置有第一卷積層、最大值池化層、包含二個三層卷積層的第二卷積層、第三卷積層、第四卷積層、全局平均池化層和softmax層，任一上一層的輸出至任一下一層輸入之間均設置有批量歸一化層和激活函數層。

4.如權利要求3所述的方法，其特征在于，所述第一卷積層用于通過卷積核對原始圖像進行卷積獲得所述原始圖形的圖像特征，提取所述原始圖像的圖像特征形成第一特征圖像，將所述第一特征圖像輸出至最大值池化層；

所述最大值池化層用于根據池化尺寸和步長確定劃定區域，在所述第一特征圖像中根據所述劃定區域獲得每一劃定區域最大值，根據所述每一劃定區域最大值形成第二特征圖像；

所述第二卷積層為多層卷積層，用于從所述最大值池化層輸出的所述第二特征圖像中獲取所述第二特征圖像的圖像特征形成第三特征圖像；

所述第三卷積層和所述第四卷積層用于根據預設通道數，將所述第三特征圖像分成與預設通道數相等的類別；

所述全局平均池化層用于對所述分類后的第三特征圖形賦予類別；

所述批量歸一化層用于將每個圖像特征在所有樣本上的值轉歸一化成均值；

所述激活函數層用于加入非線性因素；

所述softmax層用于求取第三特征圖像屬于每一類別的概率，取概率大于預設閾值的類別作為所述第三特征圖像的類別。

5.如權利要求2所述的方法，其特征在于，所述輸入包含手勢和手勢類別標識的圖像對所述卷積神經網絡進行訓練具體為：

獲取多個包含手勢的第一圖像；

將所述多個包含手勢的第一圖像中與手勢不相關的特征除去，形成多個第二圖像；

根據所述多個第二圖像中的手勢，對所述多個第二圖像進行手勢類別標識；

根據所述手勢類別設置卷積神經網絡的預設通道數，所述預設通道數等于所述手勢類別數量，所述卷積神經網絡取手勢屬于每一類別概率最大且大于預設閾值的類別作為手勢類別；

使用所述多個第二圖像對所述卷積神經網絡進行訓練，使得全局學習率和準確率分別達到第一預設閾值和第二預設閾值。

6.如權利要求5所述的方法，其特征在于，將所述多個包含手勢的第一圖像中與手勢不相關的特征除去，形成多個第二圖像具體為:

通過圖像二值化將多個包含手勢的第一圖像中與手勢不相關特征除去，形成多個第二圖像。

7.如權利要求6所述的方法，其特征在于，在將所述多個包含手勢的第一圖像中與手勢不相關的特征除去，形成多個第二圖像之后還包括：

將多個第二圖像隨機平移、旋轉以及以預設概率進行水平翻轉形成的圖像納入所述多個第二圖像，擴充所述多個第二圖像的數量。

8.如權利要求7所述的方法，其特征在于，所述方法還包括：

以預設尺寸對所述多個第二圖像進行裁剪。

9.如權利要求5所述的方法，其特征在于，使用所述多個第二圖像對所述卷積神經網絡進行訓練具體為：

將多個第二圖像根據手勢類別進行分類，隨機等量從每一分類中抽取圖像構成多個批次圖像，使用所述多個批次圖像對卷積神經網絡進行訓練。

10.如權利要求1所述的方法，其特征在于，所述方法還包括：

根據所述一組手勢類別及所述一組手勢類別的順序與控制車輛裝置對應關系，通知車載控制器對所述車輛裝置進行控制。