[發明專利]一種基于物體檢測和姿態估計的舉手者檢測方法

有效

• 申請號: 201811288509.5
• 申請日: 2018-10-31
• 公開（公告）號: CN109508661B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 周華毅;申瑞民;姜飛;米里亞姆·賴納
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 上?？剖⒅R產權代理有限公司 31225
• 代理人: 翁惠瑜

1.一種基于物體檢測和姿態估計的舉手者檢測方法，其特征在于，該方法包括以下步驟：

1）獲得待測教學視頻；

2）均勻提取所述待測教學視頻中的圖片幀，輸入訓練好的舉手動作檢測模型中，獲取含有舉手動作的圖片幀和記錄舉手框位置的第一文本文件；

3）對所述含有舉手動作的圖片幀進行姿態估計，獲得每張圖片幀中所有人的人體關鍵點，形成記錄關鍵點位置的第二文本文件；

4）根據所述第一文本文件和第二文本文件，利用啟發式匹配策略，檢測獲得舉手者；

對所述含有舉手動作的圖片幀進行姿態估計具體為：

對每張含有舉手動作的圖片幀進行放大和縮小處理，采用部分親和域方法進行姿態估計，以估計平均值作為最終圖片幀的人體關鍵點檢測結果；

所述采用部分親和域方法進行姿態估計時，候選關節連接的權重通過以下公式獲得：

其中，、分別表示人體的兩個可能連接的候選關鍵點，表示這兩個關鍵點之間的歐式距離，表示選擇的兩個候選關鍵點間的代表點的個數，表示向量生成函數，表示肢體長度懲罰系數；

所述啟發式匹配策略包括：

A）舉手框內包含手肘或手腕關鍵點時，以判定手肘或手腕關鍵點對應的人體骨架為舉手者；

B）將舉手框向左下方或右下方進行擴展，以權重值最大的關鍵點對應的人體骨架為舉手者；

C）當一個舉手框匹配有多個人體骨架時，引入全局懲罰系數。

2.根據權利要求1所述的基于物體檢測和姿態估計的舉手者檢測方法，其特征在于，所述舉手動作檢測模型基于ResNet-101實現特征提取，并在網絡中間層實現特征圖融合。

3.根據權利要求1所述的基于物體檢測和姿態估計的舉手者檢測方法，其特征在于，所述舉手動作檢測模型中僅利用一層卷積層實現最終預測。

4.根據權利要求1所述的基于物體檢測和姿態估計的舉手者檢測方法，其特征在于，所述第一文本文件中，每一條記錄由五個字段組成，第一個字段表示舉手動作的置信度，后四個字段表示舉手框的坐標。

5.根據權利要求1所述的基于物體檢測和姿態估計的舉手者檢測方法，其特征在于，所述第二文本文件中，每一條記錄由18個人體關鍵點信息組成，每個關鍵點由3個數字組成，第一個數字為關鍵點編號，后兩個數字為關鍵點的橫縱坐標。