[發(fā)明專利]一種多尺度特征融合的行為識別方法

在審

• 申請?zhí)枺?/td>: 202211116460.1
• 申請日: 2022-09-14
• 公開（公告）號: CN115393775A
• 公開（公告）日: 2022-11-25
• 發(fā)明（設(shè)計）人: 宋霄罡;張冬冬;龐欣超;唐俊杰;寧靖宇;張鵬飛;崔永新;黑新宏
• 申請（專利權(quán)）人: 西安理工大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06N3/04;G06N3/08;G06V10/40;G06V10/77;G06V10/82
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 徐瑤

本發(fā)明公開了一種多尺度特征融合的行為識別方法，具體包括如下步驟：步驟1，數(shù)據(jù)預處理；步驟2，構(gòu)建外觀特征提取模塊；步驟3，構(gòu)建運動趨勢特征提取模塊；步驟4，構(gòu)建特征融合模塊。采用本發(fā)明，通過實驗結(jié)果表明，與主流方法相比，本方法魯棒性更好，適應性更強，效果更好，豐富了人工智能和計算機視覺的方法體系，支撐了行為識別領(lǐng)域的發(fā)展，為行為識別的低成本識別技術(shù)提供了一種選擇。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理與人工智能技術(shù)領(lǐng)域，具體涉及一種多尺度特征融合的行為識別方法。

背景技術(shù)

行為識別，其目的是對一個給定的視頻片段進行分類。近幾十年來，隨著神經(jīng)網(wǎng)絡(luò)的興起，發(fā)展出了很多處理行為識別問題的方法。不同于目標識別，行為識別除了需要分析目標的空間依賴關(guān)系，還需要分析目標變化的歷史信息。這就為行為識別的問題增加了難度。

由于深度學習的快速發(fā)展，利用卷積神經(jīng)網(wǎng)絡(luò)可以進行端到端的學習，提取到更深層次的特征。同時隨著計算機性能的顯著提升，使得各種基于深度學習的行為識別方法百花齊放。目前，對視頻行為識別算法的研究從早期的手工算法發(fā)展到深度學習算法模型，更加關(guān)注顯著區(qū)域的時空交互特征提取。

行為識別應用背景較為廣泛，主要集中在智能視頻監(jiān)控，病人監(jiān)護系統(tǒng)，人機交互，虛擬現(xiàn)實，智能家居，智能安防，運動員輔助訓練，另外基于內(nèi)容的視頻檢索和智能圖像壓縮等有著廣闊的應用前景和潛在的經(jīng)濟價值和社會價值。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種多尺度特征融合的行為識別方法，解決了現(xiàn)有的方法網(wǎng)絡(luò)結(jié)構(gòu)復雜、計算復雜度高、識別效果不理想的問題。

本發(fā)明所采用的技術(shù)方案是，一種多尺度特征融合的行為識別方法，具體按以下步驟實施：

步驟1，數(shù)據(jù)預處理；

步驟2，構(gòu)建外觀特征提取模塊；

步驟3，構(gòu)建運動趨勢特征提取模塊；

步驟4，構(gòu)建特征融合模塊。

本發(fā)明的特點還在于：

其中步驟1具體為：

步驟1.1，采用Something-Something-V1V2和Jester作為訓練以及測試的數(shù)據(jù)集；

步驟1.2，將輸入視頻序列V劃分為等長的N個片段從每個片段中隨機選擇m個相鄰幀作為“m幀堆棧”：每個“m幀堆棧”的第一幀表示為

其中步驟2具體為：

步驟2.1，將選定的N幀作為輸入，提取外觀特征；

步驟2.2，使用長短期記憶網(wǎng)絡(luò)LSTM模型提取時序關(guān)聯(lián)的外觀特征；

步驟2.3，使用全局語義聚合對不同時間尺度的特征進行聚合，通過觀察不同時間尺度的特征，有選擇地增強和抑制特征；

其中步驟2.3中對特征進行全局語義聚合具體按以下步驟實施：

步驟2.3.1，特定的時間尺度池化；

步驟2.3.2，不同時間尺度調(diào)制；

其中步驟2.3.1對特定的時間尺度池化，具體按以下步驟實施：

步驟2.3.1.1，對提取出的d維特征向量f:{f₁,f₂,…,f_N}采用擴展的最大池化操作，對這N個特征進行時間整合并且不在重疊區(qū)域，池化操作如公式(1)所示。其中k是正整數(shù)我們使用金字塔時間尺度設(shè)置(即因此總共捕獲個不同時間尺度的全局語義特征：

其中步驟2.3.2對不同時間尺度調(diào)整，具體按以下步驟實施：