[發明專利]一種基于TP-STG框架的人體動作識別方法

有效

• 申請號: 201811328308.3
• 申請日: 2018-11-09
• 公開（公告）號: CN109492581B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 宮法明;嵇曉峰;馬玉輝;宮文娟
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于TP-STG框架的人體動作識別方法，其特征及具體步驟如下：

S100，以視頻信息作為輸入，將先驗知識加入SVM分類器，提出后驗判別準則以去除非人員目標；

S200，通過目標定位與檢測算法分割出人員目標，并以目標框和坐標信息的方式輸出，為人體關鍵點檢測提供輸入數據；

S300，利用改進的姿態識別算法進行身體部位定位和關聯程度分析以提取到全部人體關鍵點信息，形成關鍵點序列；

S400，通過動作識別算法在關鍵點序列上構建時空圖，對其應用于多層時空圖卷積操作，并由Softmax分類器進行動作分類，實現復雜場景下的人體動作識別；

在所述的步驟S100中，針對具體場景下的環境特點，匹配適合該場景下的先驗知識；

如所述的步驟S300中，改進的姿態識別算法包括：

S310，以上一階段目標檢測得到的w*h大小的彩色圖像作為輸入；

S311，采取多尺度的方式，按照1.0比1.2倍的比例擴大感知野；

S312，經過VGG的前8層網絡的特征提取得到一個特征映射F；

S313，網絡分成兩個循環分支，一個分支用于預測身體部位位置的二維置信度圖S，進行身體部位定位得到人體所有可見的關鍵點，另一個分支用于預測像素點在骨架中的二維矢量場L，進行關聯程度分析得到人體不可見的關鍵點；

S314，循環分支以特征圖F作為輸入，得到一組S₁,L₁；

S315，之后的分支分別以上一個分支的輸出S_t-1,L_t-1和特征圖F作為輸入，不斷進行迭代；

S316，經過p個階段最終輸出S(p)和L(p)；

S317，計算S,L的預測值與groundtruth(S^*,L^*)之間的L2范數，S和L的groundtruth根據標注的2D點計算，如果某個關鍵點標注缺失，則不計算該點的值，最終輸出所有關鍵點的信息；

在所述的步驟S313中，兩個循環分支分別回歸S和L，每一個階段計算一次損失，之后把S和L以及原始輸入繼續輸入下一個階段進行訓練；隨著迭代次數的增加，在已知的關鍵點位置的基礎上，利用矢量之間的位移長度建立人體各部位之間的相對位置關系，從而實現人體不可見關鍵點的預測與估計。

2.根據權利要求1所述的基于TP-STG框架的人體動作識別方法，其特征在于，所述的目標定位與檢測算法包括：

S210，通過數據預處理將視頻數據轉換為圖像數據，并進行樣本標簽化操作，作為算法的輸入數據；

S211，把輸入圖像分成N*N個柵格，通過特征提取對每個柵格都預測r個邊界框，如果一個物體的中心落在一個邊界框內，那么這個柵格就負責檢測這個物體；

S212，在圖像上運行單個卷積網絡得到邊界框的置信度得分計算，這些置信度分數反映了邊界框中包含目標的可信程度以及目標在預測框中的準確性；

S213，通過增加邊界框坐標預測的損失計算，并減少對不包含目標邊界框的置信度的預測損失，防止模型早期發散和不穩定；

S214，將邊界框寬度和高度按照一定比例歸一化，使得它們落在0和1之間，得到最終預測的目標類別概率和邊界框坐標信息。

3.根據權利要求2所述的基于TP-STG框架的人體動作識別方法，其特征在于，在所述的步驟S212中，在置信度得分的計算中，需要定義預測邊界框和實際邊界框的相交程度，以此作為置信度得分的計算依據，如果預測邊界框單元中不存在目標，則置信分數應為零；否則置信度得分等于預測框和真實目標邊界框之間的交集PIA與真實目標框groundtruth的乘積，由此置信度的定義表示為：

式(1)中，Cr表示置信度，Gr_(Object)表示真實目標框，表示預測框和真實目標邊界框之間的交集。