[發明專利]模型訓練及視頻處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011247805.8
• 申請日: 2020-11-10
• 公開（公告）號: CN114463659A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 霍宇琦;張士偉;夏朱榮;唐銘謙
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 鐘文芳;宋海龍

1.一種模型訓練方法，其中，包括：

獲取訓練視頻；

根據不同的時空變換模式對所述訓練視頻進行時空變換，獲得至少兩種不同的時空變換視頻；

以所述時空變換視頻中的視頻連續性信息作為自監督信息對所述視頻特征提取模型進行訓練。

2.根據權利要求1所述的方法，其中，根據不同的時空變換模式對所述訓練視頻進行時空變換，獲得至少兩種不同的時空變換視頻，包括：

獲取時間維度和空間維度之間的預設變換順序；

按照所述預設變換順序，將所述訓練視頻在時間維度和空間維度上進行變換，獲得所述時空變換視頻。

3.根據權利要求1或2所述的方法，其中，根據不同的時空變換模式對所述訓練視頻進行時空變換，獲得至少兩種不同的時空變換視頻，包括：

將所述訓練視頻中的視頻幀劃分成像素塊；

在所述時空變換模式下，以所述像素塊為單位進行時空變換獲得所述時空變換視頻。

4.根據權利要求1或2所述的方法，其中，以所述時空變換視頻中的視頻連續性信息作為自監督信息對所述視頻特征提取模型進行訓練，包括：

利用所述視頻特征提取模型獲取所述訓練視頻以及所述時空變換視頻對應的特征向量；

利用所述至少一個訓練任務從所述特征向量獲取所述視頻連續性信息的預測結果；

根據所述預測結果以及所述視頻連續性信息的真實結果訓練所述視頻特征提取模型；其中，所述真實結果利用所述時空變換視頻對應的所述時空變換模式確定。

5.根據權利要求4所述的方法，其中，所述至少一個訓練任務包括以下至少之一：

第一訓練任務，基于所述特征向量預測所述時空變換視頻中的連續像素塊信息；

第二訓練任務，基于所述特征向量預測所述時空變換視頻中連續像素塊相對于所述時空變換視頻的體積比，以及所述連續像素塊相對于所述訓練視頻在時間維度和空間維度上的海明距離；

第三訓練任務，基于所述特征向量預測所述時空變換視頻對應的時空變換模式；

第四訓練任務，基于所述特征向量，預測所述多個時空變換視頻中與所述訓練視頻最相似的一個。

6.根據權利要求4所述的方法，其中，所述方法還包括通過以下方式中的至少之一獲取所述真實結果：

確定所述時空變換視頻中最大連續圖像塊像素塊和次大連續像素塊的位置信息，將所述位置信息確定為所述真實結果；

確定所述時空變換視頻中最大連續像素塊和次大連續像素塊的體積之和，與所述時空變換視頻的總體積之間的體積之比，以及確定所述最大連續像素塊在時間維度和空間維度上的標準海明距離，并將所述體積之比和所述標準海明距離確定為所述真實結果；

將所述時空變換視頻對應的所述時空變換模式確定為所述真實結果；

將預設時空變換模式對應的所述時空變換視頻確定為所述真實結果。

7.一種視頻處理方法，其中，包括：

獲取輸入視頻；

利用視頻特征提取模型將所述輸入視頻表示為特征向量；所述視頻特征提取模型利用權利要求1-6任一項所述的方法訓練得到。

8.一種模型訓練方法，其中，包括：

獲取訓練視頻；

調用預設服務接口，以便由所述預設服務接口根據不同的時空變換模式對所述訓練視頻進行時空變換，獲得至少兩種不同的時空變換視頻，以及以所述時空變換視頻中的視頻連續性信息作為自監督信息對所述視頻特征提取模型進行訓練；

輸出所述視頻特征提取模型。

9.一種模型訓練裝置，其中，包括：

第一獲取模塊，被配置為獲取訓練視頻；

變換模塊，被配置為根據不同的時空變換模式對所述訓練視頻進行時空變換，獲得至少兩種不同的時空變換視頻；

訓練模塊，被配置為以所述時空變換視頻中的視頻連續性信息作為自監督信息對所述視頻特征提取模型進行訓練。