[發(fā)明專利]一種基于Transformer網(wǎng)絡(luò)的多人行為識別方法

在審

• 申請?zhí)枺?/td>: 202110312085.7
• 申請日: 2021-03-24
• 公開（公告）號: CN113033657A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 曹菁菁;儲潔;郭富康
• 申請（專利權(quán)）人: 武漢理工大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G08B21/04
• 代理公司: 武漢開元知識產(chǎn)權(quán)代理有限公司 42104
• 代理人: 潘杰

1.一種基于Transformer網(wǎng)絡(luò)的多人行為識別方法，其特征在于，包括：

步驟1，采集環(huán)境傳感器數(shù)據(jù)集，基于時(shí)間序列的傳感器數(shù)據(jù)作為輸入進(jìn)入到模型中，通過固定大小的滑動窗口進(jìn)行采樣；

步驟2，采樣得到的事件被嵌入到初始向量中，然后添加位置編碼以表示該事件在序列中的順序，之后，向量進(jìn)入Transformer網(wǎng)絡(luò)的Encoder編碼器；

步驟3，應(yīng)用頂部全連接層對用戶和活動的標(biāo)簽進(jìn)行分類。

2.根據(jù)權(quán)利要求1所述的一種基于Transformer網(wǎng)絡(luò)的多人行為識別方法，其特征在于，所述步驟1的具體方法包括：

步驟1.1，在被測空間區(qū)域中布置環(huán)境傳感器，收集用戶行為數(shù)據(jù)；

步驟1.2，收集到的環(huán)境傳感器數(shù)據(jù)以O(shè)N或OFF表示，ON代表傳感器被觸發(fā)，OFF代表傳感器未被觸發(fā)；

步驟1.3，篩選原始數(shù)據(jù)，去除屬性為OFF的數(shù)據(jù)，保留屬性為ON的數(shù)據(jù)，將每一個(gè)ON數(shù)據(jù)作為一個(gè)事件，將篩選后的ON數(shù)據(jù)按時(shí)間順序排列形成時(shí)序數(shù)據(jù)；

步驟1.4，切分步驟1.3所得的時(shí)序數(shù)據(jù)，獲得數(shù)據(jù)切片樣本。

3.根據(jù)權(quán)利要求1所述的一種基于Transformer網(wǎng)絡(luò)的多人行為識別方法，其特征在于，所述步驟1.4的具體方法包括：篩選后的各個(gè)屬性為ON的數(shù)據(jù)按時(shí)間順序排列，形成一組時(shí)序數(shù)據(jù)；在所述時(shí)序數(shù)據(jù)上使用一個(gè)預(yù)先設(shè)定的固定大小的滑動窗口獲取原始信息，滑動窗口采集的結(jié)果作為數(shù)據(jù)切片樣本。

4.根據(jù)權(quán)利要求1所述的一種基于Transformer網(wǎng)絡(luò)的多人行為識別方法，其特征在于：所述預(yù)先設(shè)定的固定大小的滑動窗口尺寸k為經(jīng)驗(yàn)參數(shù)。

5.根據(jù)權(quán)利要求1所述的一種基于Transformer網(wǎng)絡(luò)的多人行為識別方法，其特征在于，所述步驟2的具體方法包括：

步驟2.1，通過Embedding嵌入算法將每一個(gè)切片數(shù)據(jù)樣本對應(yīng)的離散數(shù)據(jù)變量映射到連續(xù)的表征向量，嵌入算法對每一個(gè)樣本數(shù)據(jù)獨(dú)熱處理，使其轉(zhuǎn)化為一個(gè)向量；

步驟2.2，嵌入的結(jié)果集合即為嵌入矩陣R^T×C，其中，T表示時(shí)間序列維度，C表示通道維度；在此過程中，時(shí)間序列維度也就是數(shù)據(jù)切片時(shí)滑動窗口的長度k，每個(gè)通道都代表相應(yīng)的傳感器，數(shù)量是N；

步驟2.3，添加位置編碼。構(gòu)造一個(gè)和嵌入矩陣維度相同的矩陣PE，所述矩陣PE的行表示時(shí)間序列樣本，列表示傳感器，所述矩陣PE中的各個(gè)值由以下公式得出；

PE(pos，2i)＝sin(pos/10000^2i/dmodel)

PE(pos，2i+1)＝cos(pos/10000^2i/dmodel)

其中，PE表示位置編碼矩陣，pos表示該傳感器對應(yīng)的序號，i表示行向量在矩陣中所處的位置，d_model表示行向量的維度；

將所述PE矩陣與嵌入矩陣相加，得到引入位置編碼的新的特征向量矩陣；

步驟2.4，將新的特征向量矩陣中的m個(gè)行向量輸入Encoder編碼器，m的數(shù)值為Transformer網(wǎng)絡(luò)所設(shè)置的批大小Batch size；

步驟2.5，進(jìn)入編碼器的向量首先傳遞到多頭注意層，得到新的表征向量；采用Multi-attention注意力機(jī)制分別計(jì)算不同注意頭下的注意力值，使網(wǎng)絡(luò)更關(guān)注對行為識別貢獻(xiàn)最大的關(guān)鍵幀，計(jì)算方法包括：

MultiHead(Q，K，V)＝Concat(head₁，…，head_h)

其中，Q，K，V分別表示注意力機(jī)制中的查詢向量Query，表示與該樣本相匹配的樣本屬性；值向量Key表示該樣本本身的屬性和值向量Value表示該樣本包含的信息；

步驟2.6，通過層規(guī)范化Layer Normalization對步驟2.5中注意力層生成的新的表征向量進(jìn)行歸一化處理，將步驟2.4中的輸入矩陣與步驟2.5所得的矩陣求和，并進(jìn)行歸一化，得到新的矩陣；

步驟2.7，將所述步驟2.6得到的矩陣傳遞到前饋神經(jīng)網(wǎng)絡(luò)Feed Forward進(jìn)行處理，得到強(qiáng)化的表征向量矩陣；

步驟2.8，將步驟2.7所得的強(qiáng)化的表征向量矩陣接入一個(gè)歸一化層，對矩陣中元素按行單位化，得到歸一化矩陣；

步驟2.9，將輸出的歸一化矩陣?yán)^續(xù)發(fā)送到下一個(gè)編碼器，得到最終的特征矩陣。