[發明專利]一種基于深度學習的舉手檢測方法

有效

• 申請號: 201711044722.7
• 申請日: 2017-10-31
• 公開（公告）號: CN107808376B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 林嬌嬌;姜飛;申瑞民
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/254;G06K9/00;G06K9/62
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

本發明涉及一種基于深度學習的舉手檢測方法，包括以下步驟：1)收集樣本，所述樣本為復雜環境樣本；2)建立舉手檢測模型，該舉手檢測模型基于卷積神經網絡結構，并基于所述樣本以R?FCN目標檢測算法進行訓練；3)利用訓練后的舉手檢測模型對待測視頻進行舉手檢測，獲得舉手框位置。與現有技術相比，本發明具有能夠檢測復雜環境中的舉手動作、準確率檢全率高等優點。

技術領域

本發明涉及一種視頻檢測方法，尤其是涉及一種基于深度學習的舉手檢測方法。

背景技術

視頻序列中的運動人體檢測與行為識別是一項涉及計算機視覺、模式識別及人工智能等多領域的研究課題，因其在商業、醫療和軍事等領域中廣泛的應用價值，一直是人們研究的熱點。然而，因為人體行為的多樣性和非剛性及視頻圖像固有的復雜性，所以要提出一種穩健而又實時準確的方法仍然是難點。

由于噪聲和高度動態的背景，不同的光照條件，以及小尺寸和多個可能的匹配對象，在一個典型的課堂環境中檢測人的舉手動作是一個具有挑戰性的任務。

文獻“Haar-Feature Based Gesture Detection of Hand-Raising for MobileRobot in HRI Environments”公開了一種基于Haar特征的舉手檢測技術，該方法首先訓練兩個分類器，該方法用人臉檢測器掃描輸入圖像的所有位置以查找人，然后用一個舉手檢測器掃描人臉周圍的特定區域以檢測是否有舉手。該方法分為訓練階段和檢測階段。訓練階段具體包括：(1)創建樣本，訓練樣本分為正樣本和負樣本，其中正樣本是指待檢目標樣本，負樣本指其它任意圖片；(2)特征提取，包括邊緣特征、線條特征和中心特征；(3)Cascaded Adaboost訓練，通過調用OpenCV的opencv_traincascade程序來完成。訓練結束后生成一個.xml模型文件，生成的adaboost級聯分類器可以檢測舉手動作，這也是整個檢測技術的關鍵。檢測階段具體包括：(1)視頻切幀并進行人臉檢測；(2)基于人臉約束的感興趣區域選擇；(3)利用訓練好的級聯分類器在感興趣區域中進行舉手檢測。

上述方法雖然能獲得檢測結果，但還存在一些不足：(1)需要進行人臉檢測，人臉檢測的效果好壞將直接影響最終舉手檢測的效果；(2)感興趣區域的選擇需要不斷嘗試，對新的檢測環境需要重新制定選擇方案，似的檢測結果不魯棒；(3)基于Haar特征的舉手檢測效果不佳，準確率和檢全率均較低。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于深度學習的舉手檢測方法。

本發明的目的之一是能夠檢測復雜環境(如教室環境)中的舉手動作。

本發明的目的之二是提高舉手檢測的準確率。

本發明的目的之三是提高舉手檢測的檢全率。

本發明的目的之四是將不同幀的同一舉手動作合并，得到更加真實的舉手次數。

本發明的目的可以通過以下技術方案來實現：

一種基于深度學習的舉手檢測方法，包括以下步驟：

1)收集樣本，所述樣本為復雜環境樣本；

2)建立舉手檢測模型，該舉手檢測模型基于卷積神經網絡結構，并基于所述樣本以R-FCN目標檢測算法進行訓練；

3)利用訓練后的舉手檢測模型對待測視頻進行舉手檢測，獲得舉手框位置。

進一步地，所述步驟1)中，樣本數量大于3萬個。

進一步地，所述步驟1)還包括：保存樣本信息，所述樣本信息包括視頻關鍵幀圖像、關鍵幀圖像信息和關鍵幀圖像信息中舉手目標的包圍盒坐標。

進一步地，所述步驟1)還包括：對樣本尺寸進行聚類，獲得訓練過程所需的模板尺寸。