[發(fā)明專利]一種視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310665267.8
• 申請(qǐng)日: 2013-12-09
• 公開（公告）號(hào): CN103618905A
• 公開（公告）日: 2014-03-05
• 發(fā)明（設(shè)計(jì)）人: 張磊;肖煜東;索津莉;張永兵;戴瓊海
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳研究生院
• 主分類號(hào): H04N19/51
• 分類號(hào): H04N19/51
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 余敏

1.一種視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于：包括以下步驟：

1）檢測(cè)視頻中的臺(tái)標(biāo)區(qū)域，并標(biāo)記臺(tái)標(biāo)區(qū)域；

2）對(duì)視頻中的各幀圖像進(jìn)行如下補(bǔ)繪操作：

21）根據(jù)前L幀、后K幀圖像，采用全局運(yùn)動(dòng)估計(jì)方法估計(jì)得到當(dāng)前幀圖像的L+K個(gè)全局參考圖像；其中，L和K均為大于等于0的整數(shù)，且L和K不同時(shí)為0，具體取值由用戶根據(jù)補(bǔ)繪精度要求進(jìn)行設(shè)定；

22）標(biāo)記當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域的前景和背景；

23）補(bǔ)繪當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域：對(duì)于背景像素點(diǎn)，利用L+K個(gè)全局參考圖像中相應(yīng)像素點(diǎn)的信息補(bǔ)繪該背景像素點(diǎn)；對(duì)于前景像素點(diǎn)，根據(jù)前L幀、后K幀圖像，采用局部估計(jì)方法估計(jì)得到當(dāng)前幀圖像的L+K個(gè)局部參考圖像，利用L+K個(gè)局部參考圖像中相應(yīng)像素點(diǎn)的信息補(bǔ)繪該前景像素點(diǎn)；

24）判斷當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域是否補(bǔ)繪完全，如果是，則進(jìn)入步驟26）；如果否，則進(jìn)入步驟25）；

25）利用當(dāng)前幀圖像的空間相關(guān)性補(bǔ)繪臺(tái)標(biāo)區(qū)域中剩余未補(bǔ)繪的區(qū)域；

26）結(jié)束當(dāng)前幀圖像的補(bǔ)繪。

2.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于：所述步驟22）中利用L+K個(gè)全局參考圖像的信息標(biāo)記當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域的前景和背景。

3.根據(jù)權(quán)利要求2所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于：所述步驟22）具體為：221）對(duì)當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域中的每一個(gè)像素點(diǎn)I（x，y），構(gòu)建像素點(diǎn)的領(lǐng)域塊集合ψ，所述領(lǐng)域塊集合ψ包括分別從當(dāng)前幀圖像和K個(gè)全局參考圖像中取出的L+K+1個(gè)子塊ψ₀，子塊ψ₀=｛I（i，j）︱i∈（x-W，x+W），j∈（y-W，y+W）｝，其中，W是空間窗口大小，由用戶根據(jù)補(bǔ)繪精度和運(yùn)算量的要求進(jìn)行設(shè)定；222）計(jì)算各像素點(diǎn)的領(lǐng)域塊集合ψ內(nèi)的像素點(diǎn)的方差；223）設(shè)定閾值，比較閾值與步驟222）中計(jì)算得到的各像素點(diǎn)對(duì)應(yīng)的方差，如果方差小于閾值，則將該像素點(diǎn)標(biāo)記為背景；如果方差大于閾值，則將該像素點(diǎn)標(biāo)記為前景。

4.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于：所述步驟23）中，利用L+K個(gè)全局參考圖像或L+K個(gè)局部參考圖像中相應(yīng)像素點(diǎn)信息補(bǔ)繪像素點(diǎn)時(shí)，以L+K個(gè)參考圖像中相應(yīng)像素點(diǎn)的像素值的平均值作為當(dāng)前待補(bǔ)繪像素點(diǎn)的像素值進(jìn)行補(bǔ)繪。

5.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于：所述步驟23）中，利用L+K個(gè)全局參考圖像或L+K個(gè)局部參考圖像中相應(yīng)像素點(diǎn)信息補(bǔ)繪像素點(diǎn)時(shí)，先計(jì)算L+K個(gè)參考圖像與當(dāng)前幀圖像的誤差，以誤差最小的一個(gè)參考圖像中的相應(yīng)像素點(diǎn)的像素值作為當(dāng)前待補(bǔ)繪像素點(diǎn)的像素值進(jìn)行補(bǔ)繪。

6.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于：所述步驟25）中采用靜態(tài)圖像修復(fù)算法進(jìn)行補(bǔ)繪。

7.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域補(bǔ)繪方法，其特征在于：所述靜態(tài)圖像修復(fù)算法包括基于偏微分方程的數(shù)字修復(fù)算法、基于樣例的塊匹配算法。

8.根據(jù)權(quán)利要求7所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于：所述步驟25）采用基于樣例的塊匹配算法時(shí)，具體包括如下步驟：251）確定剩余未補(bǔ)繪的區(qū)域；252）提取待補(bǔ)繪區(qū)域的邊界；253）對(duì)于邊界上的每一個(gè)像素點(diǎn)，計(jì)算其塊匹配優(yōu)先權(quán)，選擇優(yōu)先權(quán)值最大的像素點(diǎn)作為當(dāng)前待補(bǔ)繪塊的中心點(diǎn)；254）在已補(bǔ)繪區(qū)域中檢測(cè)與當(dāng)前待補(bǔ)繪塊距離最近的匹配塊；255）采用所述匹配塊中各像素點(diǎn)的信息對(duì)當(dāng)前待補(bǔ)繪塊中各像素點(diǎn)進(jìn)行補(bǔ)繪；256）返回步驟251），直至不存在未補(bǔ)繪的區(qū)域時(shí)結(jié)束。

9.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于：還包括步驟步驟3）：將所有補(bǔ)繪完成的各幀圖像按照時(shí)間順序進(jìn)行整合，輸出去除臺(tái)標(biāo)區(qū)域經(jīng)補(bǔ)繪后得到的視頻。