[發明專利]一種基于物體檢測和姿態估計的舉手者檢測方法

有效

• 申請號: 201811288509.5
• 申請日: 2018-10-31
• 公開（公告）號: CN109508661B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 周華毅;申瑞民;姜飛;米里亞姆·賴納
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

本發明涉及一種基于物體檢測和姿態估計的舉手者檢測方法，該方法包括以下步驟：1)獲得待測教學視頻；2)均勻提取所述待測教學視頻中的圖片幀，輸入訓練好的舉手動作檢測模型中，獲取含有舉手動作的圖片幀和記錄舉手框位置的第一文本文件；3)對所述含有舉手動作的圖片幀進行姿態估計，獲得每張圖片幀中所有人的人體關鍵點，形成記錄關鍵點位置的第二文本文件；4)根據所述第一文本文件和第二文本文件，利用啟發式匹配策略，檢測獲得舉手者。與現有技術相比，本發明通過改進姿態估計算法解決低分辨率和動作扭曲的問題，采用啟發式匹配策略準確獲得真實舉手者，具有檢測準確度和檢全率高等優點。

技術領域

本發明涉及一種視頻智能檢測方法，尤其是涉及一種基于物體檢測和姿態估計的舉手者檢測方法。

背景技術

近年來，隨著人工智能和深度神經網絡的快速崛起，物體檢測和姿態估計也得到了繁榮發展。得益于大量的圖像數據集和計算資源，很多優秀的物體識別算法涌現了出來，包括Fast R-CNN、Faster R-CNN、YOLO、SSD和R-FCN，與此同時，通過檢測人體關鍵點的姿態估計算法也有了突破性的進展，而姿態估計算法又通常用于多人場景。

一般多人姿態估計算法主要包括兩大類方法，Top-down(自頂向下)：首先檢測到多個人，之后針對每個人做單人姿態估計，Bottom-up(自下而上)：先檢測圖片中所有的人體關鍵點，再將它們連接成多個完整的人體姿態。Top-down類方法在各類姿態估計公共數據集上取得了迄今最好的結果，包括MPII多人數據集和COCO關鍵點挑戰數據集，但此類方法的效果很容易受到人體檢測器的影響，一旦出現人體漏檢，后續將沒有補救措施。而Bottom-up類方法在公共數據集上的整體姿態估計準確率不高。

在復雜的實時場景下，計算機視覺任務會面臨很多挑戰，人體關鍵點檢測也不例外，其中主要包括兩類問題：低分辨率和動作扭曲。低分辨率會造成關鍵點檢測錯誤和缺失的情況，進而可能帶來最終動作檢測的失誤，如圖1的(1a)所示。舉手等動作可能會帶來十分夸張的人體姿態，比如將手臂高高舉起造成人體長度比例失調，將身體一側的手臂舉起后并偏向身體另一側，向其他方向舉起手臂而不是豎直向上舉起手臂，如圖(1b)所示，這些罕見的姿態不但給關鍵點檢測帶來了困難，也給后續的舉手者匹配造成了新的問題。

總而言之，現有的原多人姿態估計算法面對上述兩類問題，檢測效果并不理想，會出現很多關于人體關鍵點的漏檢和誤檢，這給后續的舉手者匹配帶來了極大的困難。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于物體檢測和姿態估計的舉手者檢測方法。

本發明的目的之一是精確搜尋視頻中的舉手者。

本發明的發明目的之二是針對低分辨率和動作扭曲的問題，進行更精確的人體關鍵點檢測。

本發明的目的可以通過以下技術方案來實現：

一種基于物體檢測和姿態估計的舉手者檢測方法，該方法包括以下步驟：

1)獲得待測教學視頻；

2)均勻提取所述待測教學視頻中的圖片幀，輸入訓練好的舉手動作檢測模型中，獲取含有舉手動作的圖片幀和記錄舉手框位置的第一文本文件；

3)對所述含有舉手動作的圖片幀進行姿態估計，獲得每張圖片幀中所有人的人體關鍵點，形成記錄關鍵點位置的第二文本文件；

4)根據所述第一文本文件和第二文本文件，利用啟發式匹配策略，檢測獲得舉手者。

進一步地，所述舉手動作檢測模型基于ResNet-101實現特征提取，并在網絡中間層實現特征圖融合。

進一步地，所述舉手動作檢測模型中僅利用一層卷積層實現最終預測。