[發(fā)明專利]一種基于堆疊遞歸單元的多級殘差網(wǎng)絡(luò)的動作識別方法

在審

• 申請?zhí)枺?/td>: 201810081796.6
• 申請日: 2018-01-29
• 公開（公告）號: CN108280436A
• 公開（公告）日: 2018-07-13
• 發(fā)明（設(shè)計）人: 夏春秋
• 申請（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于堆疊遞歸單元的多級殘差網(wǎng)絡(luò)的動作識別方法，其特征在于，主要包括殘差網(wǎng)絡(luò)(一)；堆疊遞歸單元(二)；數(shù)據(jù)集(三)。

2.基于權(quán)利要求書1所述的殘差網(wǎng)絡(luò)(一)，其特征在于，殘差網(wǎng)絡(luò)(ResNet)將所需的殘差映射表示為Φ(x)，并且針對每個被稱為構(gòu)建塊的堆疊層描述F(x)＝Φ(x)-x的另一映射；每個塊根據(jù)深度的要求包含兩層或三層，其中兩層為3×3和3×3卷積核，三層分別為1×1，3×3和1×1的卷積核；修正線性單元(ReLU)激活層之間用于引入非線性；采用1×1卷積核的目的是在保持相似時間復(fù)雜度的同時降低計算復(fù)雜度；通過參照層的輸入，學(xué)習(xí)殘差函數(shù)可以解決隨深度增加而引起的退化問題，且易于優(yōu)化；一般情況下，ResNet由多個殘留塊組成，每個塊從下到上執(zhí)行短連接，其信息從淺層流向深層；使用ResNet-34來構(gòu)建不同級別的表示。

3.基于權(quán)利要求書2所述的ResNet-34，其特征在于，選擇最后三組殘差塊的輸出激活作為A_l，A_m，A_h的低、中、高級表示，并分別命名ResNet-34的不同層的低、中、高級；然后將這些外觀表示推入堆疊遞歸單元(SRU)中以獲得時間和深度上的視頻表示；

考慮ResNet-34層，輸出激活張量A∈R^C×H×W可以表示為：

A_level＝[A_l1，A_l2，…，A_tN]，A^l，i∈R^C (1)

其中，level∈[低，中，高]，N＝H×W；特別地，A_l∈R^128×28×28，A_m∈R^256×14×14，A_l∈R^512×7×7；平均這些激活張量A∈R^C×H×W，并產(chǎn)生描述符x_feature∈R^C，饋入SRU。

4.基于權(quán)利要求書1所述的堆疊遞歸單元(二)，其特征在于，遞歸過程中門狀態(tài)的計算依賴于前一個時間隱藏狀態(tài)h_t-1，這大大緩解了計算速度；門狀態(tài)的計算如下所示：

State_i，t＝σ(W_xix_t+W_hih_t-1+b_i) (2)

其中，在時刻t，State_i，t表示輸入門狀態(tài)、隱藏門狀態(tài)和忘記門狀態(tài)；顯然，最后一步的隱藏h_t-1被用于確定門狀態(tài)；基于此，使用SRU來處理幀的時間信息；SRU架構(gòu)如下所示：

f_t＝σ(W_fx_t+b_f) (4)

r_t＝σ(W_rx_t+b_r) (5)

其中，f_t和r_t是S型函數(shù)門，稱為遺忘門和復(fù)位門；g(·)是雙曲正切函數(shù)；SRU通過在遞歸過程中舍棄h_t-1，簡化狀態(tài)計算；內(nèi)部狀態(tài)c_t的更新仍然取決于之前的狀態(tài)c_t-1；輸入向量x_t被傳遞到SRU模塊，f_t，R_t可以同時計算出來；公式(6)和公式(7)的操作是元素級別的；之后進行平均激活張量。

5.基于權(quán)利要求書4所述的平均激活張量，其特征在于，如公式(1)，平均激活張量如下式所示：

作為frame_t的定長矢量表示，并在時間步t將其放入SRU中；使用不同方法來融合每個時間步驟的所有預(yù)測，采用平均池和最大池來進行最終的動作預(yù)測。