[發明專利]基于混合卷積的手勢檢測方法

在審

• 申請號: 202010149891.2
• 申請日: 2020-03-06
• 公開（公告）號: CN111339985A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 李蔚清;陳偉星
• 申請（專利權）人: 南京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 岑丹

本發明公開了一種基于混合卷積的手勢檢測方法，包括：獲取待檢測的手勢圖像；基于訓練好的手勢圖像檢測模型，對手勢目標圖像進行檢測，獲取所述手勢目標圖像的目標檢測結果，其中：所述手勢圖像檢測模型為將VGG16網絡替換為Mobilenet網絡的SSD框架。本發明在檢測手勢圖像時能夠兼顧檢測不同大小的手勢目標，能夠快速的識別手勢圖像中的手勢種類。

技術領域

本發明屬于檢測技術，具體為一種基于混合卷積的手勢檢測方法。

背景技術

2016年Liu W等提出SSD(Single Shot MultiBoxDetector)算法，SSD算法在多個尺度的特征圖(Feature Map)上對目標進行預測，高分辨率的特征圖預測小物體，低分辨率的特征圖預測大物體，同時結合RPN網絡的思想，對特征圖中的每一個點放置不同尺度不同長寬比的預選框(Prior Box)，并對每一個預選框進行類別預測和位置的回歸。這種方法在保證速度的同時，準確率得到了大幅度的提升，是目前最流行的目標檢測算法之一。

如圖1所示，Liu W等提出的SSD目標檢測算法使用VGGNet作為主干網絡，VGGNet網絡計算量和參數量較大，使用輕量級的Mobilenet網絡結構替代VGGNet能夠有效的減少網絡模型的參數量，在精度和模型大小之間取得較好的平衡。然而Mobilenet網絡采用單一的3×3小卷積核提取特征，不利于提取多尺寸的特征。

發明內容

本發明的目的在于提供了一種基于混合卷積的手勢檢測方法。

實現本發明目的的技術解決方案為：一種基于混合卷積的手勢檢測方法包括：

獲取待檢測的手勢圖像；

基于訓練好的手勢圖像檢測模型，對手勢目標圖像進行檢測，獲取所述手勢目標圖像的目標檢測結果，其中：

所述手勢圖像檢測模型為將VGG16網絡替換為Mobilenet網絡的SSD框架。

優選地，所述Mobilenet網絡的第2、4、6層、7～12層均為3×3卷積核、5×5卷積核以及7×7卷積核組成的混合卷積核組。

優選地，所述Mobilenet網絡的第7～12層的3×3卷積核、5×5卷積核以及7×7卷積核均分別由1×n與n×1卷積核串聯而成，n＝3,5,7。

優選地，所述Mobilenet網絡的第2、4、6層、7～12層的卷積核個數為d，3×3卷積核、5×5卷積核以及7×7卷積核的數量分別為d/2個、d/4個以及d/4個。

優選地，所述訓練好的手勢圖像檢測模型通過以下步驟得到：

根據手勢種類，對手勢樣本圖像上的手勢圖像進行標注，得到手勢樣本圖像的標注集；

對手勢樣本圖像的標注集進行格式轉換，得到手勢樣本圖像訓練集；

利用手勢樣本圖像訓練集對手勢圖像檢測模型進行訓練，得到訓練好的手勢圖像檢測模型。

優選地，利用手勢樣本圖像訓練集對手勢圖像檢測模型進行訓練，得到訓練好的手勢圖像檢測模型的具體過程為：

將手勢樣本圖像訓練集中的圖像輸入Mobilenet網絡獲得檢測特征圖；

對手勢樣本數據集進行多尺度預測處理，將每個手勢樣本圖像的真實值標簽框和具有最大交并比的默認框進行匹配，若兩者的交并比大于預設閾值，則將默認框篩選出來，通過非極大值抑制得到置信度最高的默認框作為當前手勢樣本圖像的訓練結果；

通過損失函數對訓練結果進行判斷，若結果滿足預設條件則得到訓練好的手勢檢測模型，否則保存當前網絡參數，重復上述過程繼續訓練。