[發明專利]視頻預測方法、裝置、計算機設備和可讀存儲介質

在審

• 申請號: 202010564352.5
• 申請日: 2020-06-19
• 公開（公告）號: CN111582254A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 周康明;郜杰
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 仝麗

1.一種視頻預測方法，其特征在于，所述方法包括：

將獲取的視頻數據輸入移動場預測網絡，得到預測移動場；所述視頻數據包括多幀具有相同時間間隔的圖像，所述預測移動場表征圖像中像素點的位置變化預測情況；

將所述預測移動場、所述視頻數據的最后一幀圖像和預設矩陣輸入形變網絡，得到異常矩陣和下一時刻的參考預測圖像；所述預設矩陣與所述視頻數據中的圖像具有相同維度，所述異常矩陣表征參考預測圖像中發生異常移動的像素點位置；

將所述異常矩陣和所述參考預測圖像輸入圖像生成網絡，得到下一時刻的預測圖像；將所述預測圖像添加至所述視頻數據的最后一幀圖像位置之后，刪除所述視頻數據的第一幀圖像，形成新的視頻數據，并返回執行將視頻數據輸入移動場預測網絡的步驟，直至得到預設幀數的預測圖像，作為預測視頻數據。

2.根據權利要求1所述的方法，其特征在于，所述將所述預測移動場、所述視頻數據的最后一幀圖像和預設矩陣輸入形變網絡，得到異常矩陣和下一時刻的參考預測圖像，包括：

通過所述形變網絡對所述預測移動場和所述視頻數據的最后一幀圖像進行預測處理，得到下一時刻的參考預測圖像；

通過所述形變網絡對所述預測移動場和所述預設矩陣進行變換處理，得到所述異常矩陣。

3.根據權利要求2所述的方法，其特征在于，所述通過所述形變網絡對所述預測移動場和所述預設矩陣進行變換處理，得到所述異常矩陣，包括：

將所述預測移動場和所述預設矩陣輸入所述形變網絡，輸出變換矩陣；

根據所述變換矩陣中各位置的值，確定所述異常矩陣。

4.根據權利要求1所述的方法，其特征在于，所述將所述異常矩陣和所述參考預測圖像輸入圖像生成網絡，得到下一時刻的預測圖像，包括：

將所述異常矩陣和所述參考預測圖像進行通道連接后輸入所述圖像生成網絡，得到下一時刻的預測圖像。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述方法還包括：

獲取樣本視頻數據；

將所述樣本視頻數據輸入初始移動場預測網絡，得到樣本移動場；

將所述樣本移動場、所述樣本視頻數據的最后一幀圖像和預設矩陣輸入初始形變網絡，得到樣本異常矩陣和下一時刻的參考樣本預測圖像；

將所述樣本異常矩陣和所述參考樣本預測圖像輸入初始圖像生成網絡，得到下一時刻的樣本預測圖像；

根據所述樣本異常矩陣、所述樣本視頻數據對應的下一時刻真實圖像、所述樣本預測圖像和所述樣本移動場計算損失函數，根據所述損失函數對所述初始移動場預測網絡、所述初始形變網絡和所述初始圖像生成網絡進行訓練。

6.根據權利要求5所述的方法，其特征在于，所述根據所述樣本異常矩陣、所述樣本視頻數據對應的下一時刻真實圖像、所述樣本預測圖像和所述樣本移動場計算損失函數，包括：

根據包含：

的關系式計算所述損失函數；

其中，所述M為所述樣本異常矩陣，所述T為所述下一時刻真實圖像，所述為所述樣本預測圖像，所述w_t(x)為所述樣本移動場，所述MSE為均方誤差函數，所述α、λ₁、λ₂、λ₃為權重因子。

7.根據權利要求1所述的方法，其特征在于，所述圖像生成網絡為包括跳躍連接的卷積神經網絡。