[發明專利]視頻修復方法及裝置、電子設備和存儲介質

有效

• 申請號: 201910099762.4
• 申請日: 2019-01-31
• 公開（公告）號: CN109816611B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 徐瑞;李曉瀟;周博磊;呂健勤
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;H04N5/14
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種視頻修復方法，其特征在于，包括：

獲取連續的多幀圖像中各相鄰圖像之間的第一正向光流和第一反向光流；

分別對所述第一正向光流和第一反向光流執行光流優化處理，得到與各所述第一正向光流對應的第二正向光流，以及與各所述第一反向光流對應的第二反向光流；

利用各所述第二正向光流對所述連續的多幀圖像執行正向傳導優化，以及利用各所述第二反向光流對所述連續的多幀圖像執行反向傳導優化，直至優化后的連續的多幀圖像中的各圖像均滿足修復要求；

根據正向傳導優化以及反向傳導優化獲得的各優化圖像，獲得所述連續的多幀圖像的修復圖像。

2.根據權利要求1所述的方法，其特征在于，所述獲取連續的多幀圖像中各相鄰圖像之間的第一正向光流和第一反向光流，包括：

獲取所述多幀圖像中每個圖像的掩碼圖，所述掩碼圖表示對應圖像的待修復區域；

根據所述多幀圖像的時間幀的正向順序，確定相鄰圖像之間的正向光流，以及根據所述多幀圖像的時間幀的反向順序，確定相鄰圖像的之間的反向光流；

將第i個圖像和第i+1個圖像之間的正向光流與第i+1個圖像的掩碼圖相乘，得到第i個圖像和第i+1個圖像之間第一正向光流，以及將第i+1個圖像和第i個圖像之間的反向光流與第i個圖像的掩碼圖相乘，得到第i+1個圖像和第i個圖像之間第一反向光流，其中i為大于或者等于1且小于G的正整數，G為多幀圖像中圖像的數量。

3.根據權利要求1或2所述的方法，其特征在于，所述分別對所述第一正向光流和第一反向光流執行光流優化處理，包括：

連接各所述第一正向光流得到第一連接光流，以及連接各所述第一反向光流得到第二連接光流；

分別對所述第一連接光流和第二連接光流執行N次光流優化處理，得到所述第一連接光流對應的第一優化光流，以及第二連接光流對應的第二優化光流，N為大于或者等于1的正整數；

根據所述第一優化光流得到每個第一正向光流對應的第二正向光流，以及根據所述第二優化光流得到每個第一反向光流對應的第二反向光流。

4.根據權利要求3所述的方法，其特征在于，所述分別對所述第一連接光流和第二連接光流執行N次光流優化處理，包括：

對所述第一連接光流和第二連接光流執行第一次光流優化處理，得到所述第一連接光流對應的第一優化子光流，以及第二連接光流對應的第一優化子光流；以及

分別對所述第一連接光流和所述第二連接光流的第i優化子光流執行第i+1次光流優化處理，得到所述第一連接光流對應的第i+1優化子光流，以及第二連接光流對應的第i+1優化子光流，其中i為大于1且小于N的正整數；

其中，通過第N次優化處理，將得到的所述第一連接光流的第N優化子光流確定為所述第一優化光流，以及將得到的所述第二連接光流的第N優化子光流確定為所述第二優化光流，其中，各次光流優化處理包括殘差處理和上采樣處理。

5.根據權利要求1或2所述的方法，其特征在于，所述利用各所述第二正向光流對所述連續的多幀圖像執行正向傳導優化，包括：

獲取所述多幀圖像中的每個圖像的掩碼圖，所述掩碼圖表示對應圖像的待修復區域；

按照所述多幀圖像的時間幀的正向順序，根據各所述第二正向光流得到第一個圖像以外的各圖像的第一修復圖；

基于得到的所述第一修復圖調整對應圖像的掩碼圖，并返回執行前一步驟，直至各調整后的掩碼圖表示不再存在待修復區域，則確定所述多幀圖像中的各圖像滿足所述修復要求。

6.根據權利要求5所述的方法，其特征在于，所述按照所述多幀圖像的時間幀的正向順序，根據各所述第二正向光流得到每個圖像的第一修復圖，包括：

按照所述多幀圖像的時間幀的正向順序，根據第一個第二正向光流對第一個圖像執行偏移處理，得到第二個圖像的第一修復圖；

將第k個圖像和所述第k個圖像的修復圖執行加和處理，得到第k個圖像的第一加和圖像，以及按照第k個第二正向光流對所述第k個第一加和圖像執行偏移處理，得到第k+1個圖像的第一修復圖，其中k為大于1且小于G的正整數，G表示多幀圖像中圖像的數量。