[發明專利]一種基于輕量型手勢識別的智能控制方法及裝置

有效

• 申請號: 202211250478.0
• 申請日: 2022-10-13
• 公開（公告）號: CN115328319B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 周智恒;張明月;鐘華喜;尹浩林;鄧銘;宋雨庭
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/0464;G06N3/048;G06N3/08;G06V10/44;G06V10/764;G06V10/82;G06V40/10;G06V40/20
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 周春麗

本發明公開了一種基于輕量型手勢識別的智能控制方法及裝置。所述方法包括：S1、獲取手勢數據集；S2、構建輕量型手勢識別網絡，所述網絡包括基礎網絡結構，多尺度結構與輕量型注意力結構；S3、引入預訓練權重作為輕量型手勢識別網絡的初始權重，并將訓練數據輸入所述網絡進行重新訓練；S4、計算損失值并基于損失值反饋至輕量型手勢識別網絡中并對網絡進行不斷參數修正，得到訓練后的網絡；S5、利用網絡來對手勢圖像進行預測，以控制家電的工作狀態。智能控制裝置包括：樹莓派控制器，圖像采集器，紅外發射器。本發明具有輕量化、精度高、易于部署等優點，在人機交互、虛擬現實、手語識別與智能家居等領域具有巨大的應用價值。

技術領域

本發明屬于AI（Artificial Intelligence,人工智能）及家用電器智能控制領域，具體涉及一種基于輕量型手勢識別的智能控制裝置及方法。

背景技術

手勢識別是指從圖像中準確識別出手勢信息，手勢識別技術在人機交互、智能家居、虛擬現實（VR）和增強現實（AR）等領域起到重要的作用。在人機交互的形式中，由于手的自然特性，使得交互方式更加自然和舒適。當前，手勢識別技術更多的是在電腦與服務器平臺上完成手勢預測任務，很少能進行手勢識別技術產品落地，其中一些原因是手勢識別模型較大，很難進行部署，還有些原因受限于合適的硬件平臺，在這個領域的研究人員對于模型部署落地關注度并不高，更多的是聚焦模型優化問題。此外，為能夠得到高效識別，人們通常會選用價格昂貴的設備，從而導致手勢識別的成本較高，當該識別技術成為人們生活不可缺少的部分時，這無疑會增加消費者的經濟負擔。

現有技術中，朱鵬等在中國公開發明專利CN112699837A中公開了“一種基于深度學習的手勢識別方法及設備”，該方法主要采用了基于Resnet34作為骨干網絡，生成多種尺度的特征圖形成特征金字塔，將特征金字塔的高層特征圖與低層特征圖進行融合，再將融合后的每層特征圖分別與卷積核進行卷積操作，輸出的特征圖進行多任務學習。這種網絡結構設計會出現大量的冗余參數，部署在嵌入式端并不能進行實時預測，且該發明沒有實現模型部署研究。

常志強在CN109613977A 中公開了“基于手勢識別的智能控制裝置及方法”，該方案通過采集手勢的圖像信息和聲波信息；對圖像信息進行特征提取，對聲波信息進行分析；分析后的聲波信息作為輔助對特征進行訓練生成初始化的手勢信息。初始化控制裝置中的手勢信息，并將初始化的手勢信息存儲至控制裝置；采集用戶的手勢信息，并將采集的用戶手勢信息與初始化的手勢信息進行比對；根據比對結果生成相應的控制信息；通過相應的發射模塊將控制信息發射至相應的智能設備。該發明提取的手勢信息方法與智能控制裝置，但該方案在手勢識別方法上采用了聲波信息輔助，增加了輔助信息的同時也會導致模型復雜化。此外手勢信息的采集是來自接收點陣投影和相機共同完成，從而增加了采集的難度與成本。

發明內容

本發明的主要目的在于提出一種基于輕量型手勢識別的智能控制裝置及方法，設計一個輕量型網絡結構，并實現了模型在嵌入式端部署與應用，以克服現有方法所存在的識別精度不高、模型參數過大，以及模型部署與應用不足等問題。

本發明至少通過如下技術方案之一實現。

一種基于輕量型手勢識別的智能控制方法，其方法包括如下步驟：

S1、獲取手勢數據集；

S2、構建輕量型手勢識別網絡，所述輕量型手勢識別網絡包括基礎網絡結構，多尺度結構與輕量型注意力結構，多尺度結構用于提取不同尺度下的手勢特征信息，輕量型注意力結構用于處理圖像中上下文的紋理信息的相關性，其中，所述多尺度結構用表達式表示為：