[發明專利]光流計算方法、裝置及電子設備

有效

• 申請號: 201910692802.6
• 申請日: 2019-07-30
• 公開（公告）號: CN110378936B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 喻冬東;王長虎
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 北京竹辰知識產權代理事務所(普通合伙) 11706
• 代理人: 陳龍

本公開實施例中提供了一種光流計算方法、裝置及電子設備，屬于數據處理領域，該方法包括：將目標視頻中時間區間為[t?N，t+N]的第一圖像集合輸入到第一預測網絡中，得到第一光流信息；基于所述第一光流信息，利用與所述第一預測網絡串行的第二預測網絡，對目標視頻中時間區間為[t?M，t+M]的第二圖像集合進行光流計算，得到第二光流信息；通過調整M、N和t的值，使所述目標視頻中的所有視頻幀均經過所述第一預測網絡和所述第二預測網絡進行光流計算；基于所述第二預測網絡得到的第二光流信息，確定所述目標視頻的光流值。通過本公開的處理方案，能夠準確的計算圖像的光流信息。

技術領域

本公開涉及數據處理技術領域，尤其涉及一種光流計算方法、裝置及電子設備。

背景技術

圖像處理是指對圖像進行分析、加工、和處理，使其滿足視覺、心理或其他要求的技術。圖像處理是信號處理在圖像領域上的一個應用。目前大多數的圖像均是以數字形式存儲，因而圖像處理很多情況下指數字圖像處理。此外，基于光學理論的處理方法依然占有重要的地位。

圖像處理是信號處理的子類，另外與計算機科學、人工智能等領域也有密切的關系。傳統的一維信號處理的方法和概念很多仍然可以直接應用在圖像處理上，比如降噪、量化等。然而，圖像屬于二維信號，和一維信號相比，它有自己特殊的一面，處理的方式和角度也有所不同。

光流(Optical flow)是關于視域中的物體運動檢測中的概念。用來描述相對于觀察者的運動所造成的觀測目標、表面或邊緣的運動。光流法在樣型識別、計算機視覺以及其他影像處理領域中非常有用，可用于運動檢測、物件切割、碰撞時間與物體膨脹的計算、運動補償編碼，或者通過物體表面與邊緣進行立體的測量等。在實際的光流計算中，如何能夠提高光流計算的準確度，成為需要解決的技術問題。

發明內容

有鑒于此，本公開實施例提供一種光流計算方法、裝置及電子設備，至少部分解決現有技術中存在的問題。

第一方面，本公開實施例提供了一種光流計算方法，包括：

將目標視頻中時間區間為[t-N，t+N]的第一圖像集合輸入到第一預測網絡中，得到第一光流信息，N為小于t的數值；

基于所述第一光流信息，利用與所述第一預測網絡串行的第二預測網絡，對目標視頻中時間區間為[t-M，t+M]的第二圖像集合進行光流計算，得到第二光流信息，M為小于N的數值；

通過調整M、N和t的值，使所述目標視頻中的所有視頻幀均經過所述第一預測網絡和所述第二預測網絡進行光流計算；

在所述視頻幀均經過所述第一預測網絡和所述第二預測網絡進行光流計算之后，基于所述第二預測網絡得到的第二光流信息，確定所述目標視頻的光流值。

根據本公開實施例的一種具體實現方式，所述基于所述第二預測網絡得到的第二光流信息，確定所述目標視頻的光流值，包括：

基于所述第二光流信息，利用與所述第二預測網絡串行的第三預測網絡，對目標視頻中時間區間為[t-L，t+L]的第三圖像集合進行光流計算，得到第三光流信息，L為小于M的值；

基于所述第三光流信息，確定所述目標視頻的光流值。

根據本公開實施例的一種具體實現方式，所述在所述視頻幀均經過所述第一預測網絡和所述第二預測網絡進行光流計算之后，基于所述第二預測網絡得到的第二光流信息，確定所述目標視頻的光流值之后，所述方法包括：

對所述第一預測網絡和所述第二預測網絡設置不同的損失函數；

基于所述損失函數，對所述第一預測網絡和所述第二預測網絡進行訓練；

利用訓練后的第一預測網絡和第二預測網絡，對待預測視頻的光流信息進行計算。