[發(fā)明專利]一種基于動作捕捉的注意力網(wǎng)絡(luò)的視頻問答方法

在審

• 申請?zhí)枺?/td>: 202110692149.0
• 申請日: 2021-06-22
• 公開（公告）號: CN113536952A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計）人: 楊陽;楊雙吉;彭亮;王國慶
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06F16/732;G06F16/75;G06F16/783
• 代理公司: 四川鼎韜律師事務(wù)所 51332
• 代理人: 溫利平

1.一種基于動作捕捉的注意力網(wǎng)絡(luò)的視頻問答方法，其特征在于，包括以下步驟：

(1)、特征提取

(1.1)、將待處理視頻輸入至Faster?RCNN網(wǎng)絡(luò)中，提取出每一視頻幀中物體的特征，其中，第j幀中第k個物體的特征記為v_j,k，j＝1,2…,N，k＝1,2,…,K，N表示視頻的總幀數(shù)，K表示每幀畫面提取的物體個數(shù)；

(1.2)、將待處理視頻分割成多個視頻片段，然后將每一個視頻片段輸入至ResNeXt網(wǎng)絡(luò)，提取出每一個視頻片段的特征，記為v_i，i＝1,2,…,C，C為待處理視頻被分割成視頻片段的數(shù)量；

(1.3)、將待處理的提問先后經(jīng)過Bi_LSTM網(wǎng)絡(luò)和自注意力機制的處理，提取出提問的特征，記為q；

(2)、基于物體動作注意力機制提取動作信息u；

(2.1)、通過雙向Bi_LSTM網(wǎng)絡(luò)提取物體的動作信息u_j,k；

u_j,k＝Bi_LSTM(v_j,k)

(2.2)、使用物體動作注意力機制對不同時刻的特征進(jìn)行加權(quán)，得到當(dāng)前物體k在整個視頻內(nèi)的全局動作信息u_k；

β_j,k＝softmax(W₁u_j,k+W₂q)

其中，W₁、W₂為權(quán)重參數(shù)；β_j,k表示第j幀中第k個物體的重要程度指標(biāo)；

(2.3)、使用物體動作注意力機制提取整個視頻與提問有關(guān)的動作信息u；

α_k＝softmax(W₃u_k+W₄q)

其中，W₃、W₄為權(quán)重參數(shù)；α_k表示第k個物體與提問的關(guān)聯(lián)程度指標(biāo)；

(3)、基于物體關(guān)系注意力機制提取待處理視頻的全局物體關(guān)系信息μ；

(3.1)、使用物體關(guān)系注意力機制計算當(dāng)前視頻幀j中的物體關(guān)系信息μ_j；

γ_j,k＝softmax(W₅v_j,k+W₆q)

其中，W₅、W₆為為權(quán)重參數(shù)，γ_j,k是第j幀中第k個物體的關(guān)系值；

(3.2)、將不同時刻的物體關(guān)系信息μ_j按先后順序構(gòu)成序列，然后輸入至Bi-LSTM網(wǎng)絡(luò)，從而提取出整個視頻的全局物體關(guān)系信息μ；

μ＝Bi_LSTM(μ₁,μ₂,…,μ_j,…μ_N)

(4)、基于全局動作注意力機制提取待處理視頻的全局動作信息U；

(4.1)、計算第i個視頻片段的特征v_i的權(quán)重值λ_i；

λ_i＝softmax(W₇v_i+W₈q)

其中，W₇、W₈為權(quán)重參數(shù)；

(4.2)、使用全局動作注意力機制計算整個視頻的全局動作信息；

(5)、提取待處理視頻的全局特征向量f；

(5.1)、對三種注意力機制下提取的信息進(jìn)行融合：表示向量拼接操作；

(5.2)、提取整個視頻的全局特征向量f；

其中，與φ(q)表示統(tǒng)一向量與q的維度，表示向量的對應(yīng)元素乘積；

(6)、根據(jù)提問的格式輸出不同類型答案；

(6.1)、確定待處理的提問的格式，具體包括三種提問格式：選擇式、開放式單詞、開放式數(shù)字；

(6.2)、當(dāng)待處理的提問為選擇式時，將待處理的提問視為一個五分類的場景，再利用LSTM網(wǎng)絡(luò)提取每類場景的特征c_τ，τ＝1,2,3,4,5；然后計算出每類場景的概率值最后選出最大的一個概率值作為預(yù)測結(jié)果；

(6.3)、當(dāng)待處理的提問為開放式單詞時，將待處理的提問視為一個N多分類的場景，然后利用softmax函數(shù)提取N類場景的概率矩陣P，最后在概率矩陣P中選擇最大概率值對應(yīng)的單詞作為預(yù)測結(jié)果；

(6.4)、當(dāng)待處理的提問為開放式數(shù)字時，將待處理的提問視為一個線性回歸問題，通過全連接層將全局特征向量f轉(zhuǎn)為實數(shù)并取整作為預(yù)測結(jié)果，即最終預(yù)測結(jié)果為：