[發明專利]一種基于transformer的行為分析方法、裝置及其終端設備

有效

• 申請號: 202110723043.2
• 申請日: 2021-06-29
• 公開（公告）號: CN113255597B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 姜峰;周金明
• 申請（專利權）人: 南京視察者智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于transformer的行為分析方法、裝置及其終端設備，該方法包括：步驟1，通過預處理模塊將人體圖像拆分成多個肢體局部，步驟2，把每個子塊展開成一維向量，作為transformer模型的輸入，transformer模型包括一個編碼器和一個解碼器；步驟3，通過多態融合模塊優化子塊的同時增強全局信息，獲得行為類別標簽。本發明使得目標局部與局部、局部與全局之間的聯系更加緊密，使得模型能夠聚焦于細微動作，大大提高了行為識別的準確率，從而實現對危險行為進行精準預警的目的。

技術領域

本發明涉及圖像識別技術研究領域，尤其是神經網絡方面，具體涉及一種基于transformer的行為分析方法、裝置及其終端設備。

背景技術

隨著智慧城市的大力推進，智能社會治理體系也在逐步完善，而社會矛盾調解作為社會治理的重要一環，也備受重視。在矛盾調解中，由于當事人本身的受教育程度和個人素質不同，在調節過程的表現也不同，有些當事人表現得過于激動，可能會發生肢體沖突，這不但阻礙了正常的工作秩序，還影響了其他群眾的合法權益，更是極大地影響了和諧社會的建設和發展。因此對當事人進行行為分析，準確地識別出危險動作行為，并及時預警，變得尤為重要。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：行為識別技術包含數據分析和圖像識別二類，數據分析依靠感應儀器采集目標多個特定指標，根據數值統計綜合輸出結果，這類方法耗時耗力，且精度有限，現有圖像識別類方法大多基于深度學習技術，利用單個卷積神經網絡提取行為特征，只考慮了全局特征，對局部特征的表達不夠。有些深度學習方法考慮到了局部信息，融入了注意力機制，但是局部特征與全局特征的融合方法比較簡單，特征融合不夠全面，表達能力不夠強。本發明為了避免這類事件發生，研究了一種先進的行為分析方法，準確地分析出目標的微動作，能夠精準地捕獲目標可能會出現的危險動作，并及時預警。

發明內容

為了克服現有技術的不足，本發明提供了一種基于transformer的行為分析方法、裝置及其終端設備，大大提高了行為識別的準確率，實現對危險行為進行精準預警的目的。技術方案如下：

步驟1，通過預處理模塊將人體圖像拆分成多個肢體局部；

將人體圖像輸入到預處理模塊中，預處理模塊是包含3個殘差塊的模型結構，進行了3次降采樣，模型輸出的特征圖按通道方向求平均獲得一個單通道圖，把單通道圖作為權重矩陣反饋給原圖，得到反饋圖：即單通道圖的每個元素與原圖相應8×8區域的每個值相乘；通過權重矩陣賦予原圖中不同區域的重要性，根據反饋圖的值域進行分段（即重要性分段）將原圖劃分成數個不同的子塊，作為下一個模型的輸入。

步驟2，把每個子塊展開成一維向量，作為transformer模型的輸入，transformer模型包括一個編碼器和一個解碼器。

步驟3，通過多態融合模塊優化子塊的同時增強全局信息；多態融合模塊包括兩個分支結構，其中一個分支將transformer的每個輸出，通過對應的前饋網絡和線性投影層獲得輸出向量；另一個分支將transformer的每個輸出按照初始劃分的順序拼接成一個整體輸入到前饋網絡中進行分類，在訓練優化階段，多態融合模塊為每個分支的輸出分配不同權重，通過對每個分支的類別概率輸出賦予權重后相加，獲得行為類別標簽。

并進行整個模型的優化，損失函數采用交叉熵進行計算，通過softmax獲得類別的概率輸出。

優選的，步驟1中，在訓練階段，模型是不斷優化，推動權重矩陣的不斷優化，因此每次劃分的子塊也是變化的，且都是向最接近人體部位的子塊方向發展。

優選的，步驟2中還需要考慮空間信息，在transformer模型的輸入上補充一個位置編碼。

進一步的，所述位置編碼的計算公式如下：