[發(fā)明專利]視頻修復(fù)方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910099762.4
• 申請(qǐng)日: 2019-01-31
• 公開（公告）號(hào): CN109816611B
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 徐瑞;李曉瀟;周博磊;呂健勤
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;H04N5/14
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種視頻修復(fù)方法，其特征在于，包括：

獲取連續(xù)的多幀圖像中各相鄰圖像之間的第一正向光流和第一反向光流；

分別對(duì)所述第一正向光流和第一反向光流執(zhí)行光流優(yōu)化處理，得到與各所述第一正向光流對(duì)應(yīng)的第二正向光流，以及與各所述第一反向光流對(duì)應(yīng)的第二反向光流；

利用各所述第二正向光流對(duì)所述連續(xù)的多幀圖像執(zhí)行正向傳導(dǎo)優(yōu)化，以及利用各所述第二反向光流對(duì)所述連續(xù)的多幀圖像執(zhí)行反向傳導(dǎo)優(yōu)化，直至優(yōu)化后的連續(xù)的多幀圖像中的各圖像均滿足修復(fù)要求；

根據(jù)正向傳導(dǎo)優(yōu)化以及反向傳導(dǎo)優(yōu)化獲得的各優(yōu)化圖像，獲得所述連續(xù)的多幀圖像的修復(fù)圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取連續(xù)的多幀圖像中各相鄰圖像之間的第一正向光流和第一反向光流，包括：

獲取所述多幀圖像中每個(gè)圖像的掩碼圖，所述掩碼圖表示對(duì)應(yīng)圖像的待修復(fù)區(qū)域；

根據(jù)所述多幀圖像的時(shí)間幀的正向順序，確定相鄰圖像之間的正向光流，以及根據(jù)所述多幀圖像的時(shí)間幀的反向順序，確定相鄰圖像的之間的反向光流；

將第i個(gè)圖像和第i+1個(gè)圖像之間的正向光流與第i+1個(gè)圖像的掩碼圖相乘，得到第i個(gè)圖像和第i+1個(gè)圖像之間第一正向光流，以及將第i+1個(gè)圖像和第i個(gè)圖像之間的反向光流與第i個(gè)圖像的掩碼圖相乘，得到第i+1個(gè)圖像和第i個(gè)圖像之間第一反向光流，其中i為大于或者等于1且小于G的正整數(shù)，G為多幀圖像中圖像的數(shù)量。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述分別對(duì)所述第一正向光流和第一反向光流執(zhí)行光流優(yōu)化處理，包括：

連接各所述第一正向光流得到第一連接光流，以及連接各所述第一反向光流得到第二連接光流；

分別對(duì)所述第一連接光流和第二連接光流執(zhí)行N次光流優(yōu)化處理，得到所述第一連接光流對(duì)應(yīng)的第一優(yōu)化光流，以及第二連接光流對(duì)應(yīng)的第二優(yōu)化光流，N為大于或者等于1的正整數(shù)；

根據(jù)所述第一優(yōu)化光流得到每個(gè)第一正向光流對(duì)應(yīng)的第二正向光流，以及根據(jù)所述第二優(yōu)化光流得到每個(gè)第一反向光流對(duì)應(yīng)的第二反向光流。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述分別對(duì)所述第一連接光流和第二連接光流執(zhí)行N次光流優(yōu)化處理，包括：

對(duì)所述第一連接光流和第二連接光流執(zhí)行第一次光流優(yōu)化處理，得到所述第一連接光流對(duì)應(yīng)的第一優(yōu)化子光流，以及第二連接光流對(duì)應(yīng)的第一優(yōu)化子光流；以及

分別對(duì)所述第一連接光流和所述第二連接光流的第i優(yōu)化子光流執(zhí)行第i+1次光流優(yōu)化處理，得到所述第一連接光流對(duì)應(yīng)的第i+1優(yōu)化子光流，以及第二連接光流對(duì)應(yīng)的第i+1優(yōu)化子光流，其中i為大于1且小于N的正整數(shù)；

其中，通過第N次優(yōu)化處理，將得到的所述第一連接光流的第N優(yōu)化子光流確定為所述第一優(yōu)化光流，以及將得到的所述第二連接光流的第N優(yōu)化子光流確定為所述第二優(yōu)化光流，其中，各次光流優(yōu)化處理包括殘差處理和上采樣處理。

5.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述利用各所述第二正向光流對(duì)所述連續(xù)的多幀圖像執(zhí)行正向傳導(dǎo)優(yōu)化，包括：

獲取所述多幀圖像中的每個(gè)圖像的掩碼圖，所述掩碼圖表示對(duì)應(yīng)圖像的待修復(fù)區(qū)域；

按照所述多幀圖像的時(shí)間幀的正向順序，根據(jù)各所述第二正向光流得到第一個(gè)圖像以外的各圖像的第一修復(fù)圖；

基于得到的所述第一修復(fù)圖調(diào)整對(duì)應(yīng)圖像的掩碼圖，并返回執(zhí)行前一步驟，直至各調(diào)整后的掩碼圖表示不再存在待修復(fù)區(qū)域，則確定所述多幀圖像中的各圖像滿足所述修復(fù)要求。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述按照所述多幀圖像的時(shí)間幀的正向順序，根據(jù)各所述第二正向光流得到每個(gè)圖像的第一修復(fù)圖，包括：

按照所述多幀圖像的時(shí)間幀的正向順序，根據(jù)第一個(gè)第二正向光流對(duì)第一個(gè)圖像執(zhí)行偏移處理，得到第二個(gè)圖像的第一修復(fù)圖；

將第k個(gè)圖像和所述第k個(gè)圖像的修復(fù)圖執(zhí)行加和處理，得到第k個(gè)圖像的第一加和圖像，以及按照第k個(gè)第二正向光流對(duì)所述第k個(gè)第一加和圖像執(zhí)行偏移處理，得到第k+1個(gè)圖像的第一修復(fù)圖，其中k為大于1且小于G的正整數(shù)，G表示多幀圖像中圖像的數(shù)量。