[發明專利]一種基于攝像頭的車載手勢識別方法及系統

在審

• 申請號: 201811042072.7
• 申請日: 2018-09-07
• 公開（公告）號: CN110889306A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 李彥琳;石含飛;何俏君;郭繼舜;徐偉
• 申請（專利權）人: 廣州汽車集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06F3/01
• 代理公司: 深圳匯智容達專利商標事務所(普通合伙) 44238
• 代理人: 潘中毅;熊賢卿

本發明提供一種基于攝像頭的車載手勢識別方法及系統，所述方法包括自車內預定區域連續地獲取一組手勢圖像，所述一組手勢圖像中相鄰手勢圖像的獲取時間差在預設時間閾值內，所述一組手勢圖像包括至少兩張圖像；通過所述卷積神經網絡識別出所述一組手勢類別及所述一組手勢類別的順序。本發明通過獲取手勢樣本，建立卷積神經網絡并使用手勢樣本對卷積神經網絡進行訓練，使得卷積神經網絡能夠將攝像頭獲取的手勢圖像進行識別，并根據手勢確定對應的車輛裝置的操作，解決了現有技術導致的在駕駛過程中佩戴傳感器帶來危險的問題。

技術領域

本發明涉及汽車控制技術領域，尤其涉及一種基于攝像頭的車載手勢識別方法及系統。

背景技術

現在的汽車功能日益增加，在進行汽車操作的時候，除了控制方向盤、檔位以外，還可以需要操作相關輔助設備，例如說導航、雨刮、燈光等等，如果所有的這些操作都要靠手去操作，難免在駕駛過程中容易分散注意力并產生危險；現有的解決方法主要靠佩戴傳感器來實現，但是傳感器實現的方式體驗并不好，而且在忘記佩戴傳感器的時候，駕駛中佩戴傳感器同樣會帶來危險。

發明內容

為解決上述技術問題，本發明提供一種基于攝像頭的車載手勢識別方法及系統。

本發明提供的一種基于攝像頭的車載手勢識別方法，所述方法包括：

自車內預定區域連續地獲取一組手勢圖像，所述一組手勢圖像中相鄰手勢圖像的獲取時間差在預設時間閾值內，所述一組手勢圖像包括至少兩張圖像；

通過卷積神經網絡識別出所述一組手勢類別及所述一組手勢類別的順序。

進一步地，建立卷積神經網絡，輸入包含手勢和手勢類別標識的圖像對所述卷積神經網絡進行訓練；

進一步地，所述建立卷積神經網絡總共三十四層，從上到下依次設置有第一卷積層、最大值池化層、包含二個三層卷積層的第二卷積層、第三卷積層、第四卷積層、全局平均池化層和softmax層，任一上一層的輸出至任一下一層輸入之間均設置有批量歸一化層和激活函數層。

進一步地，所述第一卷積層用于通過卷積核對原始圖像進行卷積獲得所述原始圖形的圖像特征，提取所述原始圖像的圖像特征形成第一特征圖像，將所述第一特征圖像輸出至最大值池化層；

所述最大值池化層用于根據池化尺寸和步長確定劃定區域，在所述第一特征圖像中根據所述劃定區域獲得每一劃定區域最大值，根據所述每一劃定區域最大值形成第二特征圖像；

所述第二卷積層為多層卷積層，用于從所述最大值池化層輸出的所述第二特征圖像中獲取所述第二特征圖像的圖像特征形成第三特征圖像；

所述第三卷積層和所述第四卷積層用于根據預設通道數，將所述第三特征圖像分成與預設通道數相等的類別；

所述全局平均池化層用于對所述分類后的第三特征圖形賦予類別；

所述softmax層用于求取第三特征圖像屬于每一類別的概率，取概率大于預設閾值的類別作為所述第三特征圖像的類別。

進一步地，所述輸入包含手勢和手勢類別標識的圖像對所述卷積神經網絡進行訓練具體為：

獲取多個包含手勢的第一圖像；

將所述多個包含手勢的第一圖像中與手勢不相關的特征除去，形成多個第二圖像；

根據所述多個第二圖像中的手勢，對所述多個第二圖像進行手勢類別標識；

根據所述手勢類別設置卷積神經網絡的預設通道數，所述預設通道數等于所述手勢類別數量，所述卷積神經網絡取手勢屬于每一類別概率最大且大于預設閾值的類別作為手勢類別；

使用所述多個第二圖像對所述卷積神經網絡進行訓練，使得全局學習率和準確率分別達到第一預設閾值和第二預設閾值。