[發(fā)明專利]一種基于注意力機制的移動應用行為識別方法

有效

• 申請?zhí)枺?/td>: 202110179927.6
• 申請日: 2021-02-08
• 公開（公告）號: CN112817587B
• 公開（公告）日: 2022-09-30
• 發(fā)明（設(shè)計）人: 張文君;陳丹偉
• 申請（專利權(quán)）人: 南京郵電大學
• 主分類號: G06F8/36
• 分類號: G06F8/36;G06F11/36;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 彭雄

1.一種基于注意力機制的移動應用行為識別方法，其特征在于，包括以下步驟：

步驟1：數(shù)據(jù)集采集階段：采集移動應用種類及移動應用行為得到數(shù)據(jù)流量；

步驟2：數(shù)據(jù)流量預處理階段

步驟2-1：首先進行數(shù)據(jù)流量的清洗和篩選；

步驟2-2：進行數(shù)據(jù)流量切分得到單個行為的流量數(shù)據(jù)；

步驟2-3：對單個行為的流量數(shù)據(jù)采用直接生成灰度圖的方式，同時采用圖片的方式擴大對行為數(shù)據(jù)整體的感受和對空間信息的掌握；

步驟3：行為識別階段

步驟3-1：首先采用32個3*3的卷積核，對流量灰度圖進行初步的特征提取得到初步特征圖；

步驟3-2：采用深度可分離卷積網(wǎng)絡(luò)對初步特征圖進行進一步的特征提取得到進一步特征圖；步驟3-2中在深度可分離卷積網(wǎng)絡(luò)，首先是逐通道進行卷積，而后逐點卷積；

步驟3-3：對3-2中得到的特征圖進一步提取該特征圖通道方向的注意力，提取通道注意力的方式是先計算DCT頻域參數(shù)作為預處理，再經(jīng)由全連接層、sigmoid激活函數(shù)，輸出各通道的權(quán)重，即各通道對于分類任務的貢獻程度，將該權(quán)重同3-2輸出的特征圖進行相乘；

步驟3-3中通道注意力要先進行DCT的頻域分析計算，計算公式為：

h∈{0，1，…，H-1}，w∈{0，1，…，W-1}

其中，表示二維DCT的頻譜，h和w分別表示輸入分量的高度和寬度，2d表示二維輸入，表示(i，j)位置的二維輸入，i和j表示二維數(shù)據(jù)中的行和列；

相應地，上述公式的逆變換：

h∈{0，1，…，H-1}，w∈{0，1，…，W-1}

其中，表示二維DCT的頻譜；

將輸入3-2輸出特征圖按照通道進行切分，Xⁱ表示第i個通道的特征圖，n表示總通道數(shù)，則該特征圖的頻域注意力的預處理結(jié)果Freqⁱ表示為：

Freqⁱ＝2D(DCT(Xⁱ))，i∈{0，1，…，n一1}

其中，2D表示計算的是二維頻域，DCT表示將Xⁱ作為輸入特征圖的頻域注意力的預處理結(jié)果Freqi公式進行計算，則n個通道的注意力預處理結(jié)果進行拼接后表示為：

Freq＝cat([Freq⁰，F(xiàn)req¹，…，F(xiàn)req^n-1])

通道注意力的計算公式為：

Map_c(F)＝σ(W₀(Freq))

其中，Map_c(F)表示待生成的通道注意力，F(xiàn)req表示輸入的待生成注意力的Feature Map的預處理結(jié)果，σ表示Sigmoid激活函數(shù)，W₀表示通道注意力中神經(jīng)網(wǎng)絡(luò)的參數(shù)，W₀是需要進行學習的；

步驟3-4：對3-3輸出的特征圖進一步提取空間方向的注意力，取空間方向的注意力的方式是將特征圖進行最大池化和平均池化后進行拼接，再使用二維卷積核卷積得到空間域注意力，再將該空間域注意力與特征圖相乘；

步驟3-4空間方向的注意力的計算公式為：

Map_s(F)＝σ(f^7*7([AvgPool(F)；MaxPool(F)]))

其中，Map_s(F)表示待生成的空間注意力，F(xiàn)表示3-3輸出的特征圖，σ表示Sigmoid激活函數(shù)，AvgPool(F)表示對特征圖F做平均池化，MaxPool(F)表示對特征圖F做最大池化，f^7*7表示大小為7*7的卷積核，“；”表示將AvgPool(F)與MaxPool(F)進行concat；

步驟3-5；重復步驟3-2至步驟3-4，最后經(jīng)由最大池化和激活函數(shù)后進行行為識別結(jié)果的輸出。

2.根據(jù)權(quán)利要求1所述基于注意力機制的移動應用行為識別方法，其特征在于：步驟1中采集的移動應用種類包括微信、QQ和微博，移動應用行為種類包括點贊、發(fā)文字消息、發(fā)圖片消息、發(fā)紅包、轉(zhuǎn)賬、評論。