[發(fā)明專利]一種基于輕量型手勢(shì)識(shí)別的智能控制方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202211250478.0
• 申請(qǐng)日: 2022-10-13
• 公開(kāi)（公告）號(hào): CN115328319B
• 公開(kāi)（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 周智恒;張明月;鐘華喜;尹浩林;鄧銘;宋雨庭
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06N3/0464;G06N3/048;G06N3/08;G06V10/44;G06V10/764;G06V10/82;G06V40/10;G06V40/20
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 周春麗

1.一種基于輕量型手勢(shì)識(shí)別的智能控制方法，其特征在于，包括如下步驟：

S1、獲取手勢(shì)數(shù)據(jù)集；

S2、構(gòu)建輕量型手勢(shì)識(shí)別網(wǎng)絡(luò)，所述輕量型手勢(shì)識(shí)別網(wǎng)絡(luò)包括基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，多尺度結(jié)構(gòu)與輕量型注意力結(jié)構(gòu)，多尺度結(jié)構(gòu)用于提取不同尺度下的手勢(shì)特征信息，輕量型注意力結(jié)構(gòu)用于處理圖像中上下文的紋理信息的相關(guān)性，其中，所述多尺度結(jié)構(gòu)用表達(dá)式表示為：

其中，Y 表示改進(jìn)的空洞卷積金字塔池化模塊輸出的特征圖；BN(·)表示批歸一化；f_n,m(·)表示卷積核為n*n的映射函數(shù)，m表示膨脹率；F表示輸入特征圖；δ_c(·)表示激活函數(shù)，c表示通道數(shù)，表示多尺度結(jié)構(gòu)最終的輸出；

所述輕量型注意力結(jié)構(gòu)用表達(dá)式表示為：

其中，與表示中間特征圖； f_n (·) 表示卷積核為n*n的映射函數(shù)；BN(·)表示批歸一化；_c(·)表示激活函數(shù)，c表示通道數(shù)；表示點(diǎn)乘；M_c與M_s 分別表示通道注意力和空間注意力，、分別表示通道與空間注意力的結(jié)果；為輕量型注意力結(jié)構(gòu)最后輸出結(jié)果；

S3、引入預(yù)訓(xùn)練權(quán)重作為輕量型手勢(shì)識(shí)別網(wǎng)絡(luò)的初始化權(quán)重，并將訓(xùn)練數(shù)據(jù)輸入所述輕量型手勢(shì)識(shí)別網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練，輸出預(yù)測(cè)結(jié)果；

S4、將輕量型手勢(shì)識(shí)別網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果與訓(xùn)練數(shù)據(jù)集中的對(duì)應(yīng)標(biāo)簽數(shù)據(jù)進(jìn)行不斷對(duì)比，計(jì)算對(duì)應(yīng)的損失值；將所述損失值反饋至輕量型手勢(shì)識(shí)別網(wǎng)絡(luò)中并對(duì)網(wǎng)絡(luò)進(jìn)行不斷參數(shù)修正，得到訓(xùn)練后的輕量型手勢(shì)識(shí)別網(wǎng)絡(luò)；

S5、利用訓(xùn)練后的輕量型手勢(shì)識(shí)別網(wǎng)絡(luò)來(lái)對(duì)手勢(shì)圖像進(jìn)行預(yù)測(cè)，以控制家用電器的工作狀態(tài)。

2.根據(jù)權(quán)利要求1所述的一種基于輕量型手勢(shì)識(shí)別的智能控制方法，其特征在于，所述基礎(chǔ)網(wǎng)絡(luò)包括用于提取特征信息的3*3卷積塊、用于進(jìn)行下采樣的2*2池化、深度可分離系列組、自適應(yīng)平均池化、1*1卷積塊和全連接層，兩個(gè)3*3卷積塊、2*2池化依次連接，深度可分離系列組、自適應(yīng)平均池化、1*1卷積塊和全連接層依次連接，多尺度結(jié)構(gòu)設(shè)置在2*2池化和深度可分離系列組之間，輕量型注意力結(jié)構(gòu)設(shè)置在深度可分離系列組之后。

3.根據(jù)權(quán)利要求2所述的一種基于輕量型手勢(shì)識(shí)別的智能控制方法，其特征在于，在全連接層前還采用了Dropout策略。

4.根據(jù)權(quán)利要求2所述的一種基于輕量型手勢(shì)識(shí)別的智能控制方法，其特征在于，基礎(chǔ)網(wǎng)絡(luò)中的激活函數(shù)采用Hard-swish激活函數(shù)。

5.根據(jù)權(quán)利要求1所述的一種基于輕量型手勢(shì)識(shí)別的智能控制方法，其特征在于，所述多尺度結(jié)構(gòu)包括改進(jìn)的空洞卷積金字塔池化模塊和1*1卷積塊，空洞卷積金字塔池化模塊包括采用五分支的空洞卷積，1*1卷積塊用于對(duì)空洞卷積金字塔池化模塊的各分支獲取的不同尺度的特征圖進(jìn)行拼接，以獲取融合特征信息。

6.根據(jù)權(quán)利要求5所述的一種基于輕量型手勢(shì)識(shí)別的智能控制方法，其特征在于，空洞卷積金字塔池化模塊的五分支的空洞卷積中，第一個(gè)空洞卷積分支采用卷積核為1*1，膨脹系數(shù)設(shè)為1的卷積，其余分支卷積核為3*3，膨脹系數(shù)分別設(shè)為3，6，12，18卷積，對(duì)應(yīng)的輸出通道數(shù)設(shè)為256，128，64，32，16。

7.根據(jù)權(quán)利要求1所述的一種基于輕量型手勢(shì)識(shí)別的智能控制方法，其特征在于，輕量型注意力結(jié)構(gòu)包括深度可分離卷積塊和注意力模塊，深度可分離卷積塊用于獲取空間信息，注意力模塊包括通道注意力模塊和空間注意力模塊，用于關(guān)注重要的特征，抑制不重要的特征。