[發(fā)明專利]用于視頻修復(fù)的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210068218.5
• 申請日: 2022-01-20
• 公開（公告）號: CN114820338A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 潘志宏;盧大明;陳曦
• 申請（專利權(quán)）人: 百度(美國)有限責(zé)任公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/11;G06T7/269
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 杜月

1.一種用于視頻修復(fù)的方法，包括：

將輸入視頻劃分為視頻序列集，所述視頻序列集包括一個或多個視頻幀；

生成一個或多個對象掩膜，所述一個或多個對象掩膜表示一個或多個區(qū)域，所述一個或多個區(qū)域包括一個或多個在視頻序列中待被刪除和修復(fù)的對象；

為每個視頻序列生成光流；以及

對于視頻序列集中的每個視頻序列：

使用光流中的至少一些，使用從視頻序列中選擇的補(bǔ)丁樣本更新已經(jīng)預(yù)先訓(xùn)練的修復(fù)模型；以及

使用更新的修復(fù)模型來修正視頻序列以修復(fù)視頻序列的至少一部分。

2.根據(jù)權(quán)利要求1所述的方法，其中使用光流中的至少一些，使用從視頻序列中選擇的補(bǔ)丁樣本更新修復(fù)模型的步驟包括：

使用與視頻序列中檢測到的一個或多個對象相關(guān)的光流來限定視頻序列中的一個或多個采樣區(qū)域；

在一個或多個采樣區(qū)域中采樣一個或多個補(bǔ)丁；

對于每個補(bǔ)丁，生成相應(yīng)的掩蔽補(bǔ)丁，所述掩蔽補(bǔ)丁表示補(bǔ)丁的掩蔽版本；以及

使用掩蔽補(bǔ)丁作為修復(fù)模型的輸入和使用補(bǔ)丁作為相應(yīng)的地面真實參考來更新修復(fù)模型。

3.根據(jù)權(quán)利要求2所述的方法，其中使用與視頻序列中檢測到的一個或多個對象相關(guān)的光流來限定視頻序列中的一個或多個采樣區(qū)域的步驟包括：

對于視頻序列的對象掩膜：

使用來自序列的光流計算對象掩膜周圍的平均速度函數(shù)；

從序列中選擇視頻幀；以及

使用平均速度函數(shù)估計視頻序列的視頻幀中的采樣區(qū)域。

4.根據(jù)權(quán)利要求1所述的方法，其中生成一個或多個對象掩膜的步驟包括執(zhí)行一種或多種方法，所述方法包括：

方法A：

給定待定位對象對應(yīng)的已知模板，以不同的圖像比例應(yīng)用模板匹配來檢測對象的位置和比例，并生成對象掩膜；

方法B：

應(yīng)用對象檢測模型，對于對象，對象檢測模型檢測對象并輸出包圍檢測到的對象的邊界框；以及

使用邊界框形成對象掩膜；以及

方法C：

應(yīng)用檢測和分割聯(lián)合模型來生成對象掩膜，其中檢測和分割聯(lián)合模型已經(jīng)使用一個或多個訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。

5.根據(jù)權(quán)利要求4所述的方法，其中方法B的步驟進(jìn)一步包括：

對與邊界框?qū)?yīng)的視頻幀的至少一部分使用前景分割來識別一個或多個前景部分；以及

通過使用所識別的一個或多個前景部分的至少一部分改進(jìn)邊界框以減少對象掩膜的區(qū)域以更緊密地匹配對象而形成對象掩膜。

6.根據(jù)權(quán)利要求1所述的方法，其中生成一個或多個對象掩膜的步驟進(jìn)一步包括：

對檢測到的對象應(yīng)用一個或多個過濾器以選擇一個或多個檢測到的對象的子集；以及

為一個或多個檢測到的對象的子集中的每個檢測到的對象生成對象掩膜。

7.根據(jù)權(quán)利要求6所述的方法，其中所述一個或多個過濾器包括以下中的一個或多個：

一個或多個位置過濾器，用于排除在視頻幀的特定區(qū)域中檢測到的一個或多個對象；

一個或多個大小過濾器，用于排除一個或多個特定大小的對象；

一個或多個文本識別過濾器，用于排除與特定文本相關(guān)的對象；以及

一個或多個模板匹配過濾器，用于排除特定配置的對象。

8.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

輸出包括修正視頻序列的輸入視頻的最終修正版本。

9.一種用于視頻修復(fù)的系統(tǒng)，包括：

一個或多個處理器；以及

非暫時性計算機(jī)可讀介質(zhì)，包括一組或多組指令，當(dāng)由一個或多個處理器中的至少一個執(zhí)行時，所述一組或多組指令導(dǎo)致執(zhí)行如權(quán)利要求1至8中任一項所述的方法的步驟。

10.一種非暫時性計算機(jī)可讀介質(zhì)，包括一個或多個指令序列，當(dāng)由至少一個處理器執(zhí)行時，所述一個或多個指令序列使得所述至少一個處理器執(zhí)行如權(quán)利要求1至8中任一項所述的方法的步驟。

11.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，當(dāng)所述計算機(jī)程序由處理器執(zhí)行時，使得所述處理器執(zhí)行如權(quán)利要求1至8中任一項所述的方法的步驟。