[發明專利]一種基于全局上下文信息的時序行為片段生成系統及方法

有效

• 申請號: 201910004792.2
• 申請日: 2019-01-03
• 公開（公告）號: CN109711380B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 宋井寬;李濤;高聯麗
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04;H04N21/234;H04N21/44
• 代理公司: 成都希盛知識產權代理有限公司 51226
• 代理人: 陳澤斌

1.基于全局上下文信息的時序行為片段生成系統，其特征在于，

包括：視頻單元編碼網絡、時序行為片段生成網絡和基于行為進行概率的時序行為片段重新排序網絡；

所述視頻單元編碼網絡，用于將視頻劃分為視頻單元的集合，將各個視頻單元輸入至雙流網絡進行編碼，提取對應視頻單元的時空特征，從而獲得視頻的時空特征集合；

所述時序行為片段生成網絡，用于對每一個視頻單元的時空特征進行編碼，從而預測這個視頻單元作為行為開始、行為進行和行為結束的概率；利用視頻單元作為行為開始和行為結束的概率生成初始時序行為片段；

所述基于行為進行概率的時序行為片段重新排序網絡，利用視頻單元作為行為進行的概率對初始時序行為片段進行排序，生成時序行為片段集合；

所述時序行為片段生成網絡包括殘差卷積層模塊和雙向并行的LSTM模塊；

所述殘差卷積層模塊，用于對視頻單元的時空特征進行處理從而編碼高層語義信息，獲得殘差特征；所述殘差卷積層模塊由兩層時序卷積層組成，其中兩層時序卷積層后均設置ReLU激活函數，時序卷積層的卷積核的大小為3；

其中，第一層ReLU激活函數的輸出與第二層時序卷積層的輸出進行拼接，再經過第二層ReLU激活函數獲得殘差卷積層模塊輸出的殘差特征；

所述雙向并行的LSTM模塊，用于對輸入的殘差特征進行循環編碼，從而獲取視頻的雙向LSTM特征；所述雙向并行的LSTM模塊包括前向LSTM模塊和后向LSTM模塊，所述前向LSTM模塊對殘差特征進行前向處理，所述后向LSTM模塊對殘差特征進行后向處理，前向處理和后向處理過程是并行同時進行的；

所述雙向并行的LSTM模塊后連接一個時序卷積層和S函數，用于對雙向LSTM特征進行編碼，計算視頻單元作為行為開始、行為進行和行為結束的概率，利用視頻單元作為行為開始和行為結束的概率生成初始時序行為片段。

2.一種基于全局上下文信息的時序行為片段生成方法，應用于如權利要求1所述的系統，其特征在于，包括以下步驟：

a.數據預處理：

將給定的視頻轉換為圖片，并且對圖片的大小進行縮放處理，然后采用全變分光流算法提取光流特征；

b.視頻單元編碼：

將視頻劃分為視頻單元的集合，將各個視頻單元輸入至雙流網絡進行編碼，提取對應視頻單元的時空特征，從而獲得視頻的時空特征集合；

c.生成初始時序行為片段：

對每一個視頻單元的時空特征進行編碼，從而預測這個視頻單元作為行為開始、行為進行和行為結束的概率；利用視頻單元作為行為開始和行為結束的概率生成初始時序行為片段；

d.基于行為進行概率對初始時序行為片段重新排序：

基于視頻單元作為行為進行的概率對初始時序行為片段進行排序，生成時序行為片段集合。

3.如權利要求2所述的方法，其特征在于，

步驟c中，所述利用視頻單元作為行為開始和行為結束的概率生成初始時序行為片段，具體包括：

選取行為開始和行為結束概率序列中滿足以下兩點條件之一的視頻單元作為候選的時序片段邊界節點：

(1)該視頻單元的概率高于概率序列中最大值的0.5倍；

(2)該視頻單元的概率高于前一個視頻單元的概率以及后一個視頻單元的概率；

然后將候選行為開始節點和候選行為結束節點兩兩結合生成初始時序行為片段，保留時長符合要求的初始時序行為片段。

4.如權利要求2所述的方法，其特征在于，

所述步驟d具體包括：

d1.對初始時序行為片段進行擴充，獲得擴充后的時序行為片段；

d2.將擴充的時序行為片段分為三部分：時序行為開始部分、時序行為片段和時序行為結束部分；

d3.對于每一部分，提取雙向并行的LSTM模塊的輸出作為它的特征；

d4.應用時序行為片段生成網絡獲取擴充的時序行為片段的三部分對應的概率序列；

d5.對概率序列進行數據標準化操作，獲得時序行為片段的注意力特征；

d6.將時序行為片段對應的注意力特征輸入到三個全連接層和S函數，獲得此時序行為片段的置信度得分，根據各個時序行為片段的置信度得分進行排序。

5.如權利要求2所述的方法，其特征在于，

步驟d中還包括：對時序行為片段集合進行非極大值抑制操作，過濾掉重疊率高的時序行為片段。