[發(fā)明專利]一種基于全局視頻特征的密集視頻字幕生成方法

在審

• 申請?zhí)枺?/td>: 202210801636.0
• 申請日: 2022-07-08
• 公開（公告）號: CN115190332A
• 公開（公告）日: 2022-10-14
• 發(fā)明（設計）人: 徐頌華;劉安然;周林韻;李宗芳;徐宗本
• 申請（專利權）人: 西安交通大學醫(yī)學院第二附屬醫(yī)院
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;H04N21/488;H04N5/278;G06V10/762;G06V10/764;G06V10/82
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 姚詠華

1.一種基于全局視頻特征的密集視頻字幕生成方法，其特征在于，包括以下步驟：

運用預訓練的動作識別網絡提取視頻的初級編碼特征；

對初級編碼特征進行處理，確定視覺中心和權重后再進行若干層堆疊，得到全局特征編碼；

將全局特征編碼作為指導，使用并行多頭解碼器來進行事件個數預測、事件定位以及字幕生成，最終生成視頻字幕。

2.根據權利要求1所述的一種基于全局視頻特征的密集視頻字幕生成方法，其特征在于，提取視頻的初級編碼特征通過C3D模型、雙流網絡結構或時間敏感視頻編碼器。

3.根據權利要求1所述的一種基于全局視頻特征的密集視頻字幕生成方法，其特征在于，得到全局特征編碼的具體方法如下：

使用局部敏感哈希方法對初級編碼特征中的視頻特征進行處理，確定視頻特征的視覺中心；

查詢每一組視頻特征，得到具有最高關注度的前k個視頻特征鍵并確定權重；

重復上述步驟對所有編碼的視頻特征賦予權重，得到全局特征編碼。

4.根據權利要求3所述的一種基于全局視頻特征的密集視頻字幕生成方法，其特征在于，使用局部敏感哈希方法對初級編碼特征中的視頻特征進行處理的具體方法如下：

計算每個初級編碼特征中視頻特征查詢的哈希值；

將歐幾里得局部敏感哈希作為哈希函數：

其中，Q_j是Q的分量，r是超參數，a和b是隨機變量，滿足且應用到H個LSH，得到每個視頻分量的哈希值：

其中，B為常數；

設是具有相同哈希值的視頻特征查詢的中心，I_i是類別索引，表示視頻特征查詢分量Q_i屬于哪一組，第j組視覺中心Q_c(j)表示成下式：

相應的集群注意力矩陣按照如下方式得到：

5.根據權利要求3所述的一種基于全局視頻特征的密集視頻字幕生成方法，其特征在于，得到具有最高關注度的前k個視頻特征鍵并確定權重的具體方法如下：

設P∈{0，1}^U×C是一組指示向量，其中P_ji＝1當且僅當第i個視頻特征鍵是第j組的關注度位于前k個的鍵之一，否則為0；

通過這種方式將在第j組中對關注度排在前k個的鍵和其它鍵分開并為它們計算如下的注意力系數：

按照上述方式改進之后的注意力矩陣表示成：

其中i表示的是第j個視頻特征組中包含的第i個視頻特征查詢；

新的視頻特征值可以被分成如下兩個部分：

其中，

其中由廣播得到。

6.根據權利要求3所述的一種基于全局視頻特征的密集視頻字幕生成方法，其特征在于，得到全局特征編碼的具體方法如下：

經過J層堆疊的包含自適應聚類注意的編碼層，提取視頻最終的全局特征編碼S＝{s₁，...，s_N}，所得到的全局視頻特征不僅包含整段視頻的背景信息，還應具有事物敏感性和事件敏感性。

7.根據權利要求1所述的一種基于全局視頻特征的密集視頻字幕生成方法，其特征在于，事件個數預測采用事件個數預測頭，具體方法如下：

將事件查詢特征壓縮為向量，然后運用全連接層預測一個固定長度的向量其中每一個元素代表事件個數為該值的概率；

在推理階段，選擇置信度位于前L_inf的提案作為最終的事件劃分結果，每個事件生成字幕的置信度得分可以通過下式獲得：

其中，表示在第i個事件中生成第t個目標單詞的概率，γ為調制因子，μ為平衡因子，用來削弱字幕長度對置信度得分的影響。