[發(fā)明專利]基于Transformer的行為識別算法

在審

• 申請?zhí)枺?/td>: 202110916002.5
• 申請日: 2021-08-10
• 公開（公告）號: CN113591774A
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計(jì)）人: 徐曹潔;王紫旋;朱艾春;胡方強(qiáng);李義豐
• 申請（專利權(quán)）人: 南京工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了基于Transformer的行為識別算法。它完全基于一種避免重復(fù)和卷積的注意機(jī)制，它利用了計(jì)算機(jī)視覺和自然語言處理的最新進(jìn)展，并將它們應(yīng)用于視頻理解，可以識別微妙的動作。我們首先從視頻中提取人體姿態(tài)信息，然后進(jìn)行位置編碼，把提取的信息放到Transformer的編碼模塊，編碼模塊中的輸出變成解碼模塊的輸入，然后通過前饋網(wǎng)絡(luò)模塊進(jìn)行行為識別。每個(gè)解碼器都有一個(gè)自注意層和一個(gè)完全連接的網(wǎng)絡(luò)層。每個(gè)解碼器都有一個(gè)自注意層、一個(gè)正常注意層和一個(gè)完全連接層。普通注意層使解碼器在解碼時(shí)考慮到最后一層編碼器的所有時(shí)刻的輸出，所以最后一層編碼器的輸出需要饋給所有解碼器來完成這個(gè)普通注意。同時(shí)，自我注意不包含位置關(guān)系，需要進(jìn)行位置編碼。從姿態(tài)估計(jì)部分提取原始視頻的時(shí)空信息，輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行提取，然后對骨架數(shù)據(jù)的時(shí)空信息進(jìn)行處理，最后輸出，從而實(shí)現(xiàn)更好的動作識別。

技術(shù)領(lǐng)域

本發(fā)明涉及關(guān)于姿態(tài)的人體識別方面的技術(shù)，尤其設(shè)計(jì)在一個(gè)場景下，人體行為姿態(tài)過多，存在冗余的情況下對人體姿態(tài)識別的方法改進(jìn)。

背景技術(shù)

隨著人體姿態(tài)估計(jì)和動作識別在智能監(jiān)控、人機(jī)交互等領(lǐng)域的廣泛應(yīng)用，計(jì)算機(jī)視覺越來越受到人們的關(guān)注?，F(xiàn)有的一些方法，其本質(zhì)特性是將視頻轉(zhuǎn)換為動作標(biāo)簽，不能直接區(qū)分視頻中的人體，因此來自背景的雜波和非動作動作容易導(dǎo)致效果不佳。為了解決這個(gè)限制，一個(gè)替代的解決方案是檢測一個(gè)人，并估計(jì)在每幀的身體姿勢。眾所周知，一系列連續(xù)的人體姿勢，為識別人類行為提供了微妙而可信的線索，有助于人類行為的形成。因此，我們可以將人體姿態(tài)估計(jì)作為人體動作識別的基礎(chǔ)。然而，常見的動作識別方法過分強(qiáng)調(diào)視頻中整體特征的重要性，往往忽略了人體關(guān)節(jié)的細(xì)微差異，因?yàn)橐曨l中包含了很多不重要的信息。據(jù)我們所知，人類的行為是復(fù)雜的，并且建立在不受約束的背景之上。為了避免復(fù)雜背景和拍攝角度的負(fù)面影響，從人體姿態(tài)中提取的骨骼關(guān)節(jié)可以更有效地表征人體動作。

目前基于深度學(xué)習(xí)的方法通常將骨架構(gòu)造成聯(lián)合坐標(biāo)向量或偽圖像，然后輸入到遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)或卷積神經(jīng)網(wǎng)絡(luò)(CNNs)中。遞歸神經(jīng)網(wǎng)絡(luò)，尤其是長短時(shí)間記憶，已被確立為序列建模中最先進(jìn)的方法，但這些基于rnn的方法往往過分強(qiáng)調(diào)時(shí)間信息。為此，我們提出了一種新的基于姿態(tài)的動作識別模型——Transformer。

與卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)相比，卷積神經(jīng)網(wǎng)絡(luò)引入了卷積層和池化層來處理圖像不變數(shù)據(jù)，遞歸神經(jīng)網(wǎng)絡(luò)使用循環(huán)單元來處理時(shí)間序列數(shù)據(jù)。Transformer性能更好。注意機(jī)制代替了RNN和CNN，具有較高的并行度。從注意力上看，長距離依賴強(qiáng)于RNN。Transformer網(wǎng)絡(luò)連接要簡單得多.它最顯著的特征是多頭注意機(jī)制，可以看作是一個(gè)整體。它們可以將相同的輸入向量映射到不同的表達(dá)式空間，從而提高模型的表達(dá)能力。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于，現(xiàn)有的基于姿態(tài)的動作識別方法很難從視頻中捕捉到姿態(tài)，也不能解決人體邊界幀不準(zhǔn)確的困難。目前最先進(jìn)的動作識別方法是基于CNN或LSTM的。雖然有一定的前景，但是通過實(shí)驗(yàn)發(fā)現(xiàn)在對骨架信息進(jìn)行編碼時(shí)，通常會丟失CNN中重要的時(shí)間信息。CNN引入的卷積層和池化層只能處理位移恒定的數(shù)據(jù)。同時(shí)，LSTM也忽略了骨架序列的空間特性，只使用循環(huán)單元來處理順序數(shù)據(jù)或時(shí)間序列數(shù)據(jù)。與此同時(shí)，并行計(jì)算也很難獲得有效的并行計(jì)算能力。因此，目前主要目的是探索新的網(wǎng)絡(luò)架構(gòu)，提高姿態(tài)識別的準(zhǔn)確率。

本發(fā)明解決其技術(shù)問題所采用的關(guān)鍵技術(shù)是：

(1)基于人體姿態(tài)的行為識別

近年來，高精度的姿態(tài)估計(jì)算法和精確的深度傳感器的發(fā)展為動作識別做出了許多貢獻(xiàn)，這些方法在圖像和視頻的二維姿態(tài)估計(jì)方面取得了顯著的改進(jìn)。為了解決來自背景的雜波和非動作運(yùn)動所帶來的問題，檢測并在每一幀中估計(jì)身體姿勢作為替代解決方案，該方法在深度視頻中的人體動作識別領(lǐng)域有很好的性能。

(2)基于骨架點(diǎn)的行為識別