[發(fā)明專利]一種自下而上-自上而下的行為識(shí)別系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910064508.0
• 申請(qǐng)日: 2019-01-23
• 公開（公告）號(hào): CN109858419A
• 公開（公告）日: 2019-06-07
• 發(fā)明（設(shè)計(jì)）人: 招繼恩;朱勇杰;王國(guó)良;張海;譚大倫;周明
• 申請(qǐng)（專利權(quán)）人: 廣州智慧城市發(fā)展研究院;中山大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04
• 代理公司: 廣州專理知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44493
• 代理人: 譚昉

1.一種自下而上-自上而下的行為識(shí)別系統(tǒng)，其特征在于，包括SBTA模塊和STBTA模塊；所述SBTA模塊和STBTA模塊通過自下而上自上而下機(jī)制和注意機(jī)制對(duì)局部特征和全局信息進(jìn)行編碼；

自下而上自上而下機(jī)制為對(duì)特征圖進(jìn)行逐層下采樣后逐層上采樣，通過殘差聯(lián)接保留多尺度學(xué)習(xí)，并具有科學(xué)系參數(shù)。

2.根據(jù)權(quán)利要求1所述的自下而上-自上而下的行為識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)最大池化層用于將特征處理到非常低的分辨率；任何相鄰層之間均存在殘差連接模塊，在此模塊中首先對(duì)輸入功能進(jìn)行三次下采樣，在達(dá)到最低分辨率后，網(wǎng)絡(luò)開始按比例進(jìn)行雙線性上采樣并對(duì)相應(yīng)特征進(jìn)行組合；此外，增加了空間和時(shí)間注意力模塊，以強(qiáng)調(diào)關(guān)鍵局部區(qū)域的功能，進(jìn)一步提高網(wǎng)絡(luò)性能；整個(gè)模塊類似與一個(gè)沙漏的設(shè)計(jì)，并且兩端是相互對(duì)稱的；整個(gè)模塊的輸出對(duì)于不同通道、不同空間位置點(diǎn)都賦予了不同權(quán)重。

3.根據(jù)權(quán)利要求1所述的自下而上-自上而下的行為識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)首先通過1x1的卷積核進(jìn)行通道壓縮，而后使用3x3的卷積核來適用高級(jí)信息，最后通過1x1的卷積核使得通道還原至，在這里使用殘差連接來保留原始信息，用來減輕過擬合和避免梯度彌散；使用1x1卷積有縮減開銷的價(jià)值，以及使用連續(xù)較小的過濾器捕獲較大空間上下文；能用兩個(gè)獨(dú)立的3x3濾波器替換一個(gè)5x5濾波器，根據(jù)這些見解在不同的層模塊中進(jìn)行交換；不使用大于3x3的過濾器，限制了每個(gè)層的參數(shù)總數(shù)。

4.根據(jù)權(quán)利要求1所述的自下而上-自上而下的行為識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)STBTA需要考慮空間和時(shí)間維度的關(guān)系； 經(jīng)過兩次下采樣后，使用自注意力模塊來捕獲遠(yuǎn)程依賴； 然后對(duì)這些功能進(jìn)行采樣并進(jìn)行聚合，將3D通道注意力放在模塊的最后； 在此模塊中，所有過濾器和池化方式都是3D；以與2D不同的方式設(shè)計(jì)3D自下而上-自上而下模塊；該模塊有兩個(gè)分支，上部分分支使用2D最大池化和2D平均池化，將它們逐元素相加在一起之后，使用2層MLP和Sigmoid激活函數(shù)來獲得0-1之間的權(quán)值分布；下部分分支使用3D最大池和3D平均池，在使用逐元素相加將它們加在一起之后，使用2層MLP和sigmoid激活函數(shù)來獲得權(quán)重分布；然后將這些分支添加到一起進(jìn)行耦合并得到輸出特征，輸入到神經(jīng)網(wǎng)絡(luò)的下一層；

模塊結(jié)果輸出直接作為下一層模塊的輸入，該模塊生成另一組預(yù)測(cè)；在最終的網(wǎng)絡(luò)設(shè)計(jì)中，使用了8個(gè)STBA模塊。