[發明專利]一種基于輕量型手勢識別的智能控制方法及裝置

有效

• 申請號: 202211250478.0
• 申請日: 2022-10-13
• 公開（公告）號: CN115328319B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 周智恒;張明月;鐘華喜;尹浩林;鄧銘;宋雨庭
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/0464;G06N3/048;G06N3/08;G06V10/44;G06V10/764;G06V10/82;G06V40/10;G06V40/20
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 周春麗

1.一種基于輕量型手勢識別的智能控制方法，其特征在于，包括如下步驟：

S1、獲取手勢數據集；

S2、構建輕量型手勢識別網絡，所述輕量型手勢識別網絡包括基礎網絡結構，多尺度結構與輕量型注意力結構，多尺度結構用于提取不同尺度下的手勢特征信息，輕量型注意力結構用于處理圖像中上下文的紋理信息的相關性，其中，所述多尺度結構用表達式表示為：

其中，Y 表示改進的空洞卷積金字塔池化模塊輸出的特征圖；BN(·)表示批歸一化；f_n,m(·)表示卷積核為n*n的映射函數，m表示膨脹率；F表示輸入特征圖；δ_c(·)表示激活函數，c表示通道數，表示多尺度結構最終的輸出；

所述輕量型注意力結構用表達式表示為：

其中，與表示中間特征圖； f_n (·) 表示卷積核為n*n的映射函數；BN(·)表示批歸一化；_c(·)表示激活函數，c表示通道數；表示點乘；M_c與M_s 分別表示通道注意力和空間注意力，、分別表示通道與空間注意力的結果；為輕量型注意力結構最后輸出結果；

S3、引入預訓練權重作為輕量型手勢識別網絡的初始化權重，并將訓練數據輸入所述輕量型手勢識別網絡進行重新訓練，輸出預測結果；

S4、將輕量型手勢識別網絡預測的結果與訓練數據集中的對應標簽數據進行不斷對比，計算對應的損失值；將所述損失值反饋至輕量型手勢識別網絡中并對網絡進行不斷參數修正，得到訓練后的輕量型手勢識別網絡；

S5、利用訓練后的輕量型手勢識別網絡來對手勢圖像進行預測，以控制家用電器的工作狀態。

2.根據權利要求1所述的一種基于輕量型手勢識別的智能控制方法，其特征在于，所述基礎網絡包括用于提取特征信息的3*3卷積塊、用于進行下采樣的2*2池化、深度可分離系列組、自適應平均池化、1*1卷積塊和全連接層，兩個3*3卷積塊、2*2池化依次連接，深度可分離系列組、自適應平均池化、1*1卷積塊和全連接層依次連接，多尺度結構設置在2*2池化和深度可分離系列組之間，輕量型注意力結構設置在深度可分離系列組之后。

3.根據權利要求2所述的一種基于輕量型手勢識別的智能控制方法，其特征在于，在全連接層前還采用了Dropout策略。

4.根據權利要求2所述的一種基于輕量型手勢識別的智能控制方法，其特征在于，基礎網絡中的激活函數采用Hard-swish激活函數。

5.根據權利要求1所述的一種基于輕量型手勢識別的智能控制方法，其特征在于，所述多尺度結構包括改進的空洞卷積金字塔池化模塊和1*1卷積塊，空洞卷積金字塔池化模塊包括采用五分支的空洞卷積，1*1卷積塊用于對空洞卷積金字塔池化模塊的各分支獲取的不同尺度的特征圖進行拼接，以獲取融合特征信息。

6.根據權利要求5所述的一種基于輕量型手勢識別的智能控制方法，其特征在于，空洞卷積金字塔池化模塊的五分支的空洞卷積中，第一個空洞卷積分支采用卷積核為1*1，膨脹系數設為1的卷積，其余分支卷積核為3*3，膨脹系數分別設為3，6，12，18卷積，對應的輸出通道數設為256，128，64，32，16。

7.根據權利要求1所述的一種基于輕量型手勢識別的智能控制方法，其特征在于，輕量型注意力結構包括深度可分離卷積塊和注意力模塊，深度可分離卷積塊用于獲取空間信息，注意力模塊包括通道注意力模塊和空間注意力模塊，用于關注重要的特征，抑制不重要的特征。