[發明專利]一種嵌入式系統下的基于視覺注意力的行為識別方法

有效

• 申請號: 202110256359.5
• 申請日: 2021-03-09
• 公開（公告）號: CN112818948B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 徐琴珍;侯坤林;楊鎮安;毛喻;楊綠溪
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/25;G06V10/56;G06V10/46;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

1.一種嵌入式系統下的基于視覺注意力的行為識別方法，其特征在于，包括如下步驟：

步驟1，獲取訓練樣本視頻文件，將訓練樣本視頻文件轉換為圖像幀；

步驟2，對于步驟1得到的圖像幀，按照基于視覺注意力的顯著性圖生成方法為每一幀圖像生成顯著性圖，并疊加于原始圖像幀上，得到視覺注意力疊加圖；

步驟2.1：讀取圖像幀，記1⁰為源圖像，經高斯濾波，1/2采樣到I¹，I¹的1/2采樣到I²，I²的1/2采樣到I³，一直1/2采樣直到I⁸，I¹為原始圖像的1/2采樣，I²為原始圖像的1/4采樣，I³為原始圖像的1/8采樣，I⁸為原始圖像的1/256采樣；將輸入圖像表示成9層的高斯金字塔，其中第0層是輸入圖像，1到8層分別是用5×5的高斯濾波器對輸入圖像進行濾波和采樣形成的，大小分別為輸入圖像的1/2到1/256；

步驟2.2：提取特征：包括紅色R、綠色G、藍色B、黃色Y四種顏色信息，0°、45°、90°、135°四個方向信息，亮度I共九種信息；從原始圖像中直接提取到紅綠藍三個通道的對應的值記為r、g、b，亮度和顏色特征由如下公式得到：

I＝(r+g+b)/3

R＝r-(g+b)/2

G＝g-(r+b)/2

B＝b-(r+g)/2

Y＝(r+g)/2-|r-g|/2+b

用Gabor函數濾波構建Gabor方向金字塔O(σ，θ)，其中σ∈{0..8}，θ∈{0°，45°，90°，135°}；

步驟2.3：對不同尺度間特征取差形成特征圖，模擬人類視覺系統中感受野的中心-外周拮抗的結構，對各種特征分別在特征金字塔的不同尺度間作差；感受野中心對應于尺度c的特征圖像素點， c∈{2，3，4}，感受野周邊區域對應于尺度s的特征圖像素點， s＝c+δ，δ∈{3，4}；不同尺度特征圖的分辨率不同，需要通過插值使兩幅圖像大小相同后，通過兩幅圖像之間點對點作差，這個過程用表示；中心和外周的局部方向特征的對比由如下公式得到：

其中，δ表示感受野，I(c，s)表示尺度c和尺度s的綜合亮度特征，I(c)表示尺度c的亮度特征，I(s)表示尺度s的亮度特征，RG(c，s)表示尺度c和尺度s的紅綠顏色特征，R(c)表示尺度c的紅色特征，G(c)表示尺度c的綠色特征，G(s)表示尺度s的綠色特征，R(s)表示尺度s的紅色特征，BY(c，s)表示尺度c和尺度s的藍黃顏色特征，B(c)表示尺度c的藍色特征，Y(c)表示尺度c的黃色特征，Y(s)表示尺度s的黃色特征，B(s)表示尺度s的藍色特征，O(c，s，θ)表示尺度c和尺度s的綜合Gabor方向特征，O(c，θ)表示尺度c的Gabor方向特征，O(s，θ)表示尺度s的Gabor方向特征；

步驟2.4：對于步驟2.3生成的不同尺度和不同特征的特征圖，先進行歸一化處理，形成一幅顯著性圖，然后再將不同特征的顯著性圖進行歸一化處理獲得最好的視覺顯著性圖S，計算過程如下：

其中，表示亮度顯著性，表示各個特征間的加和運算，表示歸一化函數，表示顏色顯著性，表示方向顯著性，S表示視覺顯著性圖；

步驟3，使用雙線性插值法將步驟2得到的所有視覺注意力疊加圖重塑到相同的大小，獲得訓練集；

步驟4，基于步驟3得到的訓練集，通過三維卷積神經網絡進行訓練，每5個迭代檢查驗證集上的損失，當連續5個迭代驗證集上損失沒有降低時，終止訓練，保存訓練好的卷積神經網絡，進行預測；

步驟5，識別時，獲取待識別的視頻文件，將待識別的視頻文件經過步驟1-步驟3得到識別集，將識別集輸入到訓練好的卷積神經網絡進行預測。