[發明專利]基于多模態信息融合與決策優化的組群行為識別方法

有效

• 申請號: 202010111024.X
• 申請日: 2020-02-24
• 公開（公告）號: CN111339908B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 王傳旭;胡小悅;閆春娟
• 申請（專利權）人: 青島科技大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/52;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 青島匯智海納知識產權代理有限公司 37335
• 代理人: 劉曉

1.基于多模態信息融合與決策優化的組群行為識別方法，其特征在于，包括以下步驟：

步驟A、針對待進行組群行為識別的視頻，獲取組群成員的候選框序列，提取其對應的光流特征，并提取組群成員的人體姿態分割特征作為第三重視覺線索；

步驟B、獲取組群成員人體目標時空特征的雙流模型并將其進行MMF融合；

步驟B1、根據步驟A中得到的組群成員的候選框序列、光流特征以及人體姿態分割特征進行多重視覺線索的特征提取，基于I3D網絡分別提取對應的視頻序列中組群成員的RGB空間外觀特征、時間運動特征和空間姿態特征；

步驟B2、將經過I3D網絡提取的兩組時空特征進行MMF融合，通過壓縮和激勵操作，利用多模態輸入重新校準每條特征支路中的通道特征，將RGB空間外觀特征支路和時間運動特征支路互為補充，同時使空間姿態特征支路和時間運動特征支路也互為補充，實現多模態特征融合；

步驟C、經過MMF融合后得到的兩條支路分別連接GRU網絡，基于GRU網絡的時序模型捕獲視頻中組群成員的長期時序關系；

步驟D、最后基于自適應類別權重的多分類器決策優化，獲得組群行為標簽，完成組群行為識別。

2.根據權利要求1所述的基于多模態信息融合與決策優化的組群行為識別方法，其特征在于：所述步驟B2中，在進行MMF融合時采用以下方式實現：

(1)首先利用壓縮操作，利用全局平均池化將每個支路的時空信息壓縮到信道描述符中；

(2)然后通過級聯不同信道描述符和全連接層操作，產生具有重新校準輸入功能的激勵信號E_A和E_B，用于控制每種模態中的通道特征；

(3)最后通過激勵函數并在通道方向使用點乘操作，融合后的特征通過σ函數激發更重要的卷積核并抑制不重要的卷積核，以通過一種模態的特征重新校準另一模態的特征。

3.根據權利要求2所述的基于多模態信息融合與決策優化的組群行為識別方法，其特征在于：所述RGB空間外觀特征和時間運動特征進行MMF融合與空間姿態特征和時間運動特征進行MMF融合采用相同的原理，對于組群成員候選框序列與光流特征兩種輸入模態來說，RGB空間外觀特征和時間運動特征MMF融合的過程如下：

(1)設和分別表示經過I3D網絡提取的RGB空間外觀特征和時間運動特征，其中，N_i和M_i表示空間維度和時間維度，C和C'表示空間網和時間網的通道方向特征；

(2)壓縮操作：首先通過在輸入特征的空間維度與時間維度上使用全局平均池化將空間信息與時間信息分別壓縮到各自信道描述符中；

(3)激勵操作產生激勵信號，重新校準輸入；

激勵信號E_A∈R^C和E_B∈R^C'具有重新校準輸入的功能，A和B通過門控機制校準：

其中，☉表示通道方向點乘操作，σ(.)表示sigmoid函數；

門控信號為兩個輸入的函數，且具有獨立預測的能力，因為每種模態需要彼此不同地變化：

首先，通過從壓縮信號中聯合表示來實現預測：

Z＝W[S_A,S_B]+b??????????????????????????(5)

其次，通過兩個獨立的全連接層預測每種模態的激勵信號：

E_A＝W_AZ+b_A??????????????????????????(6)

E_B＝W_BZ+b_B??????????????????????????(7)

其中，[.,.]表示級聯操作；表示權重；b_A∈R^C,b_B∈R^C'表示全連接層的偏置。