[發(fā)明專利]一種基于ShuffleNet-SSD的手勢識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111650184.2
• 申請日: 2021-12-30
• 公開（公告）號: CN114419730A
• 公開（公告）日: 2022-04-29
• 發(fā)明（設(shè)計）人: 侯平智;王曉虎;彭圣仆;厲東北
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱亞冠

1.一種基于ShuffleNet-SSD的手勢識別方法，其特征在于包括以下步驟：

步驟（1）、采集手勢圖像，將其轉(zhuǎn)換為固定尺寸，并對其進行標(biāo)簽標(biāo)注，并以訓(xùn)練集與測試集一定比例構(gòu)建數(shù)據(jù)集；

步驟（2）、構(gòu)建ShuffleNet-SSD網(wǎng)絡(luò)模型；

ShuffleNet-SSD網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)ShuffleNet、軟化非極大值抑制塊Soft-NMS；

所述特征提取網(wǎng)絡(luò)ShuffleNet網(wǎng)絡(luò)結(jié)構(gòu)，包括Conv1層、MaxPool層、Stage2層、Stage3層、Stage4層；

所述Conv1層將輸入為224*224大小的圖像經(jīng)3*3卷積輸出為112*112特征圖至MaxPool層；

所述MaxPool層將112*112特征圖經(jīng)最大值池化輸出為56*56特征圖至Stage2層；

所述Stage2層包含1次步長為2的ShuffleNet單元與3次步長為1的ShuffleNet單元，輸出28*28的特征圖至Stage3層；

所述Stage3層包含1次步長為2的ShuffleNet單元與7次步長為1的ShuffleNet單元，輸出14*14的特征圖至Stage4層；

所述Stage4層包含1次步長為2的ShuffleNet單元與3次步長為1的ShuffleNet單元，輸出7*7的特征圖；

步驟（3）、訓(xùn)練ShuffleNet-SSD模型，并對其進行參數(shù)調(diào)整與優(yōu)化；

步驟（4）、利用已經(jīng)訓(xùn)練好的ShuffleNet-SSD模型實現(xiàn)手勢的識別。

2.根據(jù)權(quán)利要求1所述方法，其特征在于所述軟化非極大值抑制塊Soft-NMS用于對特征提取網(wǎng)絡(luò)ShuffleNet輸出的特征圖中的檢測框進行高度重疊剔除。

3.根據(jù)權(quán)利要求4所述方法，其特征在于所述軟化非極大值抑制塊Soft-NMS具體如下：

(1)

其中M是特征提取網(wǎng)絡(luò)ShuffleNet輸出的特征圖中檢測框集合，bi為除最高置信度框外其他框，Si為當(dāng)前檢測框得分，iou表示置信度；

f(iou(M,bi))為權(quán)重函數(shù)，具體是：

(2)

其中，D為經(jīng)過Soft-NMS抑制的檢測框，σ為人為指定參數(shù)。

4.一種基于ShuffleNet-SSD的手勢識別系統(tǒng)，其特征在于包括：

數(shù)據(jù)集制作模塊，制作用于訓(xùn)練ShuffleNet-SSD的訓(xùn)練集；

模型訓(xùn)練模塊，用于將所述訓(xùn)練集中預(yù)處理后的手勢圖像輸入到ShuffleNet-SSD模型并進行訓(xùn)練；

手勢識別模塊，用于通過訓(xùn)練好的ShuffleNet-SSD模型對待識別的手勢進行預(yù)測并產(chǎn)生識別結(jié)果。