[發(fā)明專利]一種基于位置編碼融合的密集型視頻描述方法

有效

• 申請?zhí)枺?/td>: 202010563286.X
• 申請日: 2020-06-19
• 公開（公告）號: CN111814844B
• 公開（公告）日: 2023-07-11
• 發(fā)明（設計）人: 王瀚漓;楊思璇
• 申請（專利權）人: 同濟大學
• 主分類號: H04N21/84
• 分類號: H04N21/84;H04N21/44;G06V10/74;G06V10/82;G06N3/0464;G06V10/774;G06T3/40
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

1.一種基于位置編碼融合的密集型視頻描述方法，其特征在于，該方法對待描述視頻進行序列特征圖提取，計算視頻幀序列的絕對位置編碼及上下文之間的相對位置編碼，在自注意力機制編碼模型中加權融合所述序列特征圖、絕對位置編碼和相對位置編碼，計算圖像相似度，對序列特征圖進行重編碼，基于重編碼后的序列特征圖對視頻中的子事件進行定位并提取子事件特征圖序列，基于注意力機制對已定位的子事件特征圖序列按序解碼成自然語言描述；

其中，所述自注意力機制編碼模型基于多頭自注意力機制獲取每一幀圖像與上下文的圖像相似度，最后獲得的重編碼為多個獨立頭部輸出的重編碼的加權和；

所述圖像相似度的計算式為：

式中，表示圖像x_i、x_j的特征向量，W_query、W_key、W_value表示一組自注意力機制相關的參數(shù)矩陣，U為位置編碼融合權重矩陣，d_x表示圖像特征的維度，為絕對位置編碼，為位置偏差編碼，s_i,j為圖像相似度；

重編碼后的序列特征為Y＝{y₁,...,y_L}，其中的元素y_i具體為：

式中，相關向量L為序列長度。

2.根據(jù)權利要求1所述的基于位置編碼融合的密集型視頻描述方法，其特征在于，所述序列特征圖提取具體為：

對所述待描述視頻進行圖像序列采樣，對每幀圖像進行特征提取，生成對應的特征圖和光流圖并拼接，得到序列特征圖。

3.根據(jù)權利要求1所述的基于位置編碼融合的密集型視頻描述方法，其特征在于，所述絕對位置編碼基于每幀圖像在序列中的發(fā)生次序獲得，表示為：

式中，ord表示圖像在序列中的順序標量，i表示特征圖通道，d_x表示圖像特征的維度，為圖像特征的奇數(shù)通道添加余弦型絕對位置編碼，為圖像特征的偶數(shù)通道添加正弦型絕對位置編碼。

4.根據(jù)權利要求1所述的基于位置編碼融合的密集型視頻描述方法，其特征在于，所述位置偏差編碼為第i幀圖像與第j幀圖像的位置偏差。

5.根據(jù)權利要求1所述的基于位置編碼融合的密集型視頻描述方法，其特征在于，采用基于卷積神經(jīng)網(wǎng)絡的事件定位模型對視頻中的子事件進行初始定位，獲得子事件的時域節(jié)點與置信度得分，根據(jù)預設的置信度閾值篩選可描述事件，基于所述時域節(jié)點得到精確的事件邊界后，采用掩碼模塊在序列特征圖上提取事件特征圖序列。

6.根據(jù)權利要求5所述的基于位置編碼融合的密集型視頻描述方法，其特征在于，所述事件定位模型中的事件邊界點回歸定位采用錨點偏移機制，基于真實標簽事件的分布設置一組錨點，每個與真實事件標簽關聯(lián)的錨點以長度l_a和錨點中心c_a表示，目標事件錨點以事件長度l_p和事件中心c_p表示，對目標事件錨點進行訓練回歸優(yōu)化，獲得事件的時域節(jié)點，表達式為：

式中，為事件中心點偏移，為事件長度偏移；

根據(jù)回歸定位后的時域節(jié)點獲取事件邊界{Start_p,End_p}：

Start_p＝c_p-l_p/2，End_p＝c_p+l_p/2。

7.根據(jù)權利要求1所述的基于位置編碼融合的密集型視頻描述方法，其特征在于，采用基于自注意力機制與聯(lián)合注意力機制的自動描述解碼模型獲得所述自然語言描述。

8.根據(jù)權利要求7所述的基于位置編碼融合的密集型視頻描述方法，其特征在于，所述自動描述解碼模型中，在每個時間步，利用聯(lián)合注意力機制計算目標事件與上下文的相關性得分，同時利用自注意力機制與掩碼機制生成合適單詞，在下一時間步，目標事件中已被描述的特征信息被掩碼，掩碼的特征序列以及已生成的單詞序列作為下一時間步的輸入，循環(huán)輸出單詞，直至所有子事件被完整描述。