[發(fā)明專利]一種基于深度神經(jīng)網(wǎng)絡(luò)的移除圖像內(nèi)臺(tái)標(biāo)和字幕的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811286931.7
• 申請(qǐng)日: 2018-10-31
• 公開（公告）號(hào): CN109472260B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 王煒;李杰;溫序銘;謝超平
• 申請(qǐng)（專利權(quán)）人: 成都索貝數(shù)碼科技股份有限公司
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識(shí)產(chǎn)權(quán)代理有限公司 51230
• 代理人: 李春霖

本發(fā)明公開了一種基于深度神經(jīng)網(wǎng)絡(luò)的移除圖像內(nèi)臺(tái)標(biāo)和字幕的方法，涉及圖像修復(fù)技術(shù)領(lǐng)域，本發(fā)明包括如下步驟：S1、建立圖像修復(fù)模型；S2、訓(xùn)練集圖像預(yù)處理；S3、處理訓(xùn)練數(shù)據(jù)：將訓(xùn)練圖像作為真實(shí)圖像Pt；將訓(xùn)練圖像中Mask1區(qū)域內(nèi)的像素點(diǎn)RGB值置為0，作為訓(xùn)練圖像P1；將訓(xùn)練圖像中Mask2區(qū)域內(nèi)的像素點(diǎn)RGB值置為0，作為訓(xùn)練圖像P2；S4、訓(xùn)練圖像修復(fù)模型，得到訓(xùn)練好的圖像修復(fù)模型；S5、圖像修復(fù)：將需要去除臺(tái)標(biāo)和字幕的圖像或視頻預(yù)處理后，輸入訓(xùn)練好的圖像修復(fù)模型中，將圖像修復(fù)模型輸出的圖像與原圖像結(jié)合，得到最終圖像輸出，本發(fā)明基于深度學(xué)習(xí)思想，實(shí)現(xiàn)自動(dòng)、快速去除圖像中的臺(tái)標(biāo)和字幕，處理過程清晰明確，修復(fù)實(shí)時(shí)性強(qiáng)，適用范圍廣。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像修復(fù)技術(shù)領(lǐng)域，更具體的是涉及一種基于深度神經(jīng)網(wǎng)絡(luò)的移除圖像內(nèi)臺(tái)標(biāo)和字幕的方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)上的圖片、視頻的總量和播放時(shí)長(zhǎng)不斷上升，在2017年僅僅是YouTube上的日視頻播放總量就已經(jīng)超過10億小時(shí)。某些視頻畫面中存在臺(tái)標(biāo)和字幕，由于年代久遠(yuǎn)或其他種種原因無(wú)法得到原始視頻畫面，如何在現(xiàn)有視頻畫面中實(shí)時(shí)、快速地去除臺(tái)標(biāo)和字幕等區(qū)域，以降低臺(tái)標(biāo)或字幕對(duì)內(nèi)容的不利干擾，使觀眾獲得良好的視覺體驗(yàn)是當(dāng)前亟待解決的問題。

現(xiàn)有的圖像修復(fù)方法包括以下三種：

1、手工添加馬賽克

通過視頻編輯軟件在臺(tái)標(biāo)和字幕區(qū)域直接添加馬賽克以遮擋原有內(nèi)容，這種方法雖然方式簡(jiǎn)單，但是視覺效果上受到了極大的影響，與原有初衷大相徑庭，并不是一種合理的解決方法；

2、基于圖像塊的圖像修復(fù)

這種方法通過收集待修復(fù)區(qū)域附近的小圖像塊來(lái)合成修復(fù)區(qū)域的紋理，這種方法的缺點(diǎn)也很明顯：通過這種方式無(wú)法得到圖像的整體語(yǔ)義，也就無(wú)法對(duì)修復(fù)區(qū)域進(jìn)行語(yǔ)義層面的修復(fù)，因此修復(fù)復(fù)雜場(chǎng)景的能力較差，所需的計(jì)算量往往也很大；

3、基于數(shù)據(jù)庫(kù)的圖像修復(fù)

這種方法假定數(shù)據(jù)庫(kù)中存在與待修復(fù)圖像相似的內(nèi)容，用視覺上足夠相似的樣本來(lái)估計(jì)當(dāng)前圖像中的待修補(bǔ)區(qū)域，當(dāng)數(shù)據(jù)庫(kù)內(nèi)存在相似樣本時(shí)圖像修復(fù)的效果很好，但是當(dāng)數(shù)據(jù)庫(kù)中不存在相似樣本時(shí)，修補(bǔ)結(jié)果可能就與真實(shí)情況大相徑庭，極大地限制了可能的應(yīng)用場(chǎng)景。

發(fā)明內(nèi)容

本發(fā)明的目的在于：為了解決現(xiàn)有的圖像修復(fù)方法修復(fù)影音圖像中復(fù)雜場(chǎng)景的能力較差，所需計(jì)算量大，并且應(yīng)用場(chǎng)景具有局限性的問題，本發(fā)明提供一種基于深度神經(jīng)網(wǎng)絡(luò)的移除圖像內(nèi)臺(tái)標(biāo)和字幕的方法，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)的特性，構(gòu)造圖像修復(fù)模型，并對(duì)圖像修復(fù)模型進(jìn)行大量數(shù)據(jù)訓(xùn)練，然后將需要移除臺(tái)標(biāo)和字幕的視頻幀帶入圖像修復(fù)模型進(jìn)行計(jì)算，自動(dòng)得到去除臺(tái)標(biāo)和字幕的圖像幀，修復(fù)實(shí)時(shí)性強(qiáng)，適用范圍廣。

本發(fā)明為了實(shí)現(xiàn)上述目的具體采用以下技術(shù)方案：

一種基于深度神經(jīng)網(wǎng)絡(luò)的移除圖像內(nèi)臺(tái)標(biāo)和字幕的方法，包括如下步驟：

S1、建立圖像修復(fù)模型：由類“U-net”網(wǎng)絡(luò)和GAN組成圖像修復(fù)模型，類“U-net”網(wǎng)絡(luò)作為GAN的Generator；

S2、訓(xùn)練集圖像預(yù)處理：將訓(xùn)練集中的圖像裁剪或縮放至限定大小，得到訓(xùn)練圖像，根據(jù)通常情況下臺(tái)標(biāo)和字幕所在區(qū)域，將訓(xùn)練圖像在邏輯上劃分為區(qū)域1、區(qū)域2和區(qū)域3，其中區(qū)域1為臺(tái)標(biāo)所在區(qū)域，區(qū)域2為字幕所在區(qū)域，并在區(qū)域1和區(qū)域2中分別生成對(duì)應(yīng)的Mask1和Mask2；

S3、處理訓(xùn)練數(shù)據(jù)：將未經(jīng)處理的訓(xùn)練圖像作為真實(shí)圖像Pt；將訓(xùn)練圖像中Mask1區(qū)域內(nèi)的像素點(diǎn)RGB值置為0，作為訓(xùn)練圖像P1；將訓(xùn)練圖像中Mask2區(qū)域內(nèi)的像素點(diǎn)RGB值置為0，作為訓(xùn)練圖像P2；