[發明專利]一種基于草圖的場景級細粒度視頻檢索方法及系統

在審

• 申請號: 202210429989.2
• 申請日: 2022-04-22
• 公開（公告）號: CN114969430A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 馬翠霞;左然;劉舫;陳科圻;張拯明;鄧小明;王宏安
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06F16/732
• 分類號: G06F16/732;G06F16/783;G06N3/04;G06V10/74;G06V10/764;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 李文濤

1.一種基于草圖的場景級細粒度視頻檢索方法，其特征在于，包括以下步驟：

對于繪制的場景草圖，獲取草圖特征，包括整體外觀特征，以及草圖上實例的外觀特征、類別特征和位置特征；根據這些草圖特征構建草圖空間結構圖，該草圖空間結構圖包括草圖外觀結構圖和草圖類別結構圖，該草圖外觀結構圖是由表示實例的外觀特征的實例節點、表示草圖整體外觀特征的一個場景節點和根據位置特征計算得到的表示距離的邊共同構成，該草圖類別結構圖是由表示實例的類型特征的實例節點和根據位置特征計算得到的表示距離的邊共同構成；

根據場景草圖，采用自適應幀采樣策略對視頻進行采樣，即先對視頻幀進行稀疏采樣得到候選視頻幀，再對該候選視頻幀利用訓練好的草圖-視頻關聯關系模型進行視頻幀篩選，篩選出與場景草圖最相關的視頻幀并編碼成視頻；

對上述編碼的視頻，獲取視頻特征和時序信息，視頻特征包括視頻圖像中整體外觀特征、每個實例的外觀特征、類型特征和位置特征；根據這些視頻特征和時序信息構建視頻時空結構圖，該視頻時空結構圖包含視頻空間結構圖和視頻時序結構圖，該視頻空間結構圖包括視頻外觀結構圖和視頻類別結構圖，該視頻外觀結構圖是由表示實例的外觀特征的實例節點、表示圖像整體外觀特征的一個場景節點和根據位置特征計算得到的表示距離的邊共同構成，該視頻類別結構圖是由表示實例的類型特征的實例節點和根據位置特征計算得到的表示距離的邊共同構成；該視頻時序結構圖根據所述時序信息、實例節點和場景節點構成；

將草圖特征和視頻特征輸入到訓練好的草圖-視頻檢索模型中進行視頻檢索，該草圖-視頻檢索模型包含外觀分支和類別分支，該外觀分支根據草圖外觀結構圖和視頻外觀結構圖生成視頻檢索結果，該類別分支根據草圖類別結構圖和視頻類別結構圖生成視頻檢索結果；將該兩個檢索結果進行外觀特征和類別特征的融合，得到最終的視頻檢索結果。

2.如權利要求1所述的方法，其特征在于，對于繪制的場景草圖，采用預訓練的GoogLeNet Inception-V3提取草圖中的每個實例的外觀特征，采用Bert模型編碼每個實例的類別特征，采用Transformer中提到的相對位置處理方法并使用正弦和余弦函數獲得位置特征，采用Distance-IOU根據位置特征計算實例之間的距離。

3.如權利要求1所述的方法，其特征在于，采用兩層的GCN網絡進行草圖特征更新，該GCN網絡通過加入SE模塊對局部的實例節點進行特征融合。

4.如權利要求1所述的方法，其特征在于，對上述編碼的視頻，采用ResNet-152提取視頻幀中的每個實例的外觀特征，采用Bert模型編碼每個實例的類別特征，采用Transformer中提到的相對位置處理方法并使用正弦和余弦函數獲得位置特征，采用Distance-IOU根據位置特征計算實例之間的距離。

5.如權利要求1所述的方法，其特征在于，采用兩層的GCN網絡結合SE模塊分別對視頻空間結構圖和視頻時序結構圖進行特征更新。

6.如權利要求1所述的方法，其特征在于，草圖-視頻關聯關系模型基于三元組網絡構建，其訓練方法為：利用訓練集中草圖和視頻幀之間的匹配關系，由草圖、視頻幀正樣本和視頻幀負樣本組成三元組匹配對，對草圖-視頻關聯關系模型進行訓練，通過訓練學習草圖和視頻圖像之間的語義和視覺關聯關系。

7.如權利要求1所述的方法，其特征在于，草圖-視頻檢索模型基于三元組網絡構建，其訓練方法為：利用訓練集中待檢索草圖特征和視頻特征，構建由草圖特征、視頻正樣本特征和視頻負樣本特征組成的三元組匹配對，對草圖-視頻檢索模型進行訓練，計算最終的損失函數，通過調整模型參數使得損失降到最小，完成訓練。

8.如權利要求7所述的方法，其特征在于，所述最終的損失函數是由多個batch的損失函數進行平均得到，每個batch的損失函數為草圖與視頻正樣本之間的距離和草圖與負樣本之間的距離的差值，再加上正負樣本本身的間隔外，進行最大化。