[發明專利]一種基于transformer的行為分析方法、裝置及其終端設備

有效

• 申請號: 202110723043.2
• 申請日: 2021-06-29
• 公開（公告）號: CN113255597B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 姜峰;周金明
• 申請（專利權）人: 南京視察者智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于transformer的行為分析方法，其特征在于，該方法主要包括以下步驟：

步驟1，通過預處理模塊將人體圖像拆分成多個肢體局部；

將人體圖像輸入到預處理模塊中，預處理模塊是包含3個殘差塊的模型結構，進行了3次降采樣，模型輸出的特征圖按通道方向求平均獲得一個單通道圖，把單通道圖作為權重矩陣反饋給原圖，得到反饋圖：即單通道圖的每個元素與原圖相應8×8區域的每個值相乘；通過權重矩陣賦予原圖中不同區域的重要性，根據反饋圖的值域進行分段，將原圖劃分成數個不同的子塊，作為下一個模型的輸入；

步驟2，把每個子塊展開成一維向量，作為transformer模型的輸入，transformer模型包括一個編碼器和一個解碼器；

步驟3，通過多態融合模塊優化子塊的同時增強全局信息；多態融合模塊包括兩個分支結構，其中一個分支將transformer的每個輸出，通過對應的前饋網絡和線性投影層獲得輸出向量；另一個分支將transformer的每個輸出按照初始劃分的順序拼接成一個整體輸入到前饋網絡中進行分類，在訓練優化階段，多態融合模塊為每個分支的輸出分配不同權重，通過對每個分支的類別概率輸出賦予權重后相加，獲得行為類別標簽；

并進行整個模型的優化，損失函數采用交叉熵進行計算，通過softmax獲得類別的概率輸出。

2.根據權利要求1所述的一種基于transformer的行為分析方法，其特征在于，步驟1中，在訓練階段，模型是不斷優化的，推動權重矩陣的不斷優化，因此每次劃分的子塊也是變化的，且都是向最接近人體部位的子塊方向發展。

3.根據權利要求1所述的一種基于transformer的行為分析方法，其特征在于，步驟2中還需要考慮空間信息，在transformer模型的輸入上補充一個位置編碼。

4.根據權利要求3所述的一種基于transformer的行為分析方法，其特征在于，所述位置編碼的計算公式如下：

i表示的是輸入向量對應的位置，P表示每個子塊對應的位置矩陣，將得到的二維PE位置矩陣展開成一維向量與輸入向量相加。

5.根據權利要求1所述的一種基于transformer的行為分析方法，其特征在于，步驟2中所述編碼器包括一個自注意力模塊和一個前饋網絡，自注意力模塊根據輸入向量獲取Query向量q，Key向量k和Value向量v，為每一個輸入向量計算一個得分為score=q·k，為了訓練更加穩定，對score做歸一化處理,然后經過softmax激活函數，接著點乘v，得到加權的每個輸入向量的評分，評分相加得到該模塊的輸出結果，具體公式如下：

其中d_k表示向量k的維度d，用于歸一化操作；

前饋網絡是一個隱藏層維度為d的三層感知機，使用了ReLU激活函數。

6.根據權利要求1所述的一種基于transformer的行為分析方法，其特征在于，步驟2中所述解碼器相對于編碼器多了一個編解碼注意力模塊，該模塊使用所有對象之間的成對關系來對所有對象進行全局推理，推理過程以整個圖像作為上下文；解碼器的輸入是通過對不同于編碼器輸入圖像的其他人體圖像局部區域進行編碼獲得的。

7.根據權利要求1-6任一項所述的一種基于transformer的行為分析方法，其特征在于，根據步驟3的行為類別標簽，進行危險行為實時預警。