[發明專利]基于眼動信號糾正的視頻對運動員檢測的方法及裝置

在審

• 申請號: 202210567512.0
• 申請日: 2022-05-24
• 公開（公告）號: CN115063712A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 倪廣健;康偉;許淄豪;于韓;白艷茹
• 申請（專利權）人: 天津大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06V40/20;G06V40/18;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于眼動信號糾正的視頻對運動員檢測的方法，其特征在于，所述方法包括：

1)教練員佩戴眼動儀觀察訓練視頻進行復盤，隨機選擇感興趣的視頻片段進行暫停觀看；教練員對訓練視頻進行計算機視覺分析處理；

2)采用深度卷積神經網絡對視覺分析處理后的訓練視頻進行初始化分析，以此實現多球員檢測，在訓練視頻中判斷Bounding box是否完全框選出所關注的球員，如果是，執行步驟1)；如果否，執行步驟3)；

3)通過眼動儀采集眼動注意力，獲得眼動注意力掩碼矩陣，進而優化CNN網絡的損失函數；基于優化后的CNN網絡重新對球員重新進行檢測，使用新的Bounding box框選球員，將獲得的球員檢測結果用于后續的姿態分析中。

2.根據權利要求1所述的一種基于眼動信號糾正的視頻對運動員檢測的方法，其特征在于，所述通過眼動儀采集眼動注意力，獲得眼動注意力掩碼矩陣，進而優化CNN網絡的損失函數具體為：

通過眼動儀采集教練員觀測初始化后的訓練視頻中的圖像的眼動注意力，獲得眼動注意力掩碼矩陣S_c；

獲取CNN最后一層的卷積特征圖，所述卷積特征圖用于計算CNN全連接層的輸入向量；

基于所述輸入向量、分類層的權值、及偏移量獲取CNN的輸出分類概率分布；

計算球員檢測時分類熱力圖，對分類熱力圖M_c進行歸一化處理，并進行雙三次插值，獲得與待檢測的圖像同樣大小，經過Sigmoid函數進行平滑處理后的分類熱力圖M′_c；

將注意力掩碼矩陣S_c引入CNN網絡的交叉熵優化中，獲取優化后的交叉熵用于矯正CNN網絡進而對球員進行精確檢測。

3.根據權利要求2所述的一種基于眼動信號糾正的視頻對運動員檢測的方法，其特征在于，

所述輸出分類概率分布p為：

p＝softmax(W^Tf+b)

其中，b為偏移量，T為轉置；W為分類層的權值；f為CNN全連接層的輸入向量；

所述分類熱力圖M_c：

M_c＝∑_k∈KW_kc·F_k

其中，W_kc為全連接層輸入和輸出之間的權值，F_k∈R^H×V；F為卷積特征圖；k為CNN中全連接層的輸入神經元下標；K為CNN中全連接層的輸入神經元數。

4.根據權利要求2所述的一種基于眼動信號糾正的視頻對運動員檢測的方法，其特征在于，

所述分類熱力圖M′_c為：

M′_c＝sigmoid(M_c+b_c)

其中，b_c為偏移量；

所述注意力掩碼矩陣S_c作為監督目標參與CNN的優化，矩陣S_c包含元素為1的積極注意力，以及為0的消極注意力，不含眼動標記的部分值為

5.根據權利要求3所述的一種基于眼動信號糾正的視頻對運動員檢測的方法，其特征在于，所述優化后的交叉熵為：

其中，l為優化后的交叉熵，H(.,.)是CNN網絡的交叉熵，λ為控制參數變量，N＝∑_i,j,cI(S_ijc≠ε)，用于排除沒有眼動注意力的像素，I(·)為指示函數，M′_ijc為M′_c中的第i行j列的值，S_ijc為S_c中第i行j列的值，q為分類的one-hot標簽向量。