[發(fā)明專利]視頻數(shù)據(jù)實時處理方法及裝置、計算設(shè)備

有效

• 申請?zhí)枺?/td>: 201711405700.9
• 申請日: 2017-12-22
• 公開（公告）號: CN107993217B
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 董健
• 申請（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/62;G06N3/04
• 代理公司: 深圳市世紀恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

本發(fā)明公開了一種視頻數(shù)據(jù)實時處理方法及裝置、計算設(shè)備，方法對視頻數(shù)據(jù)所包含的幀圖像進行分組處理，包括：實時獲取視頻中的當前幀圖像；判斷當前幀圖像是否為任一分組的第1幀圖像；若是，則將當前幀圖像輸入至神經(jīng)網(wǎng)絡(luò)中，得到處理后的當前幀圖像；若否，則將當前幀圖像輸入至神經(jīng)網(wǎng)絡(luò)中，在運算至神經(jīng)網(wǎng)絡(luò)的第i層卷積層得到第i層卷積層的運算結(jié)果后，獲取當前幀圖像所屬分組的第1幀圖像輸入至神經(jīng)網(wǎng)絡(luò)中得到的第j層反卷積層的運算結(jié)果，直接將第i層卷積層的運算結(jié)果與第j層反卷積層的運算結(jié)果進行圖像融合，得到處理后的當前幀圖像；i和j為自然數(shù)；輸出處理后的當前幀圖像；重復(fù)執(zhí)行上述步驟直至完成對視頻數(shù)據(jù)中所有幀圖像的處理。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種視頻數(shù)據(jù)實時處理方法及裝置、計算設(shè)備。

背景技術(shù)

隨著科技的發(fā)展，圖像采集設(shè)備的技術(shù)也日益提高。使用圖像采集設(shè)備錄制的視頻也更加清晰、分辨率、顯示效果也大幅提高。在錄制視頻時還可以根據(jù)用戶的各種個性化需求，對視頻進行相應(yīng)的處理。

現(xiàn)有技術(shù)在對視頻進行處理時，往往是將視頻中的每一幀圖像作為單獨的幀圖像進行處理，而沒有考慮到視頻中前后幀之間的連續(xù)性。這樣處理使得需要對每一幀均進行處理，處理的速度較慢，需要花費較多的時間。

因此，需要一種視頻數(shù)據(jù)實時處理方法，以提升視頻實時處理的速度。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的視頻數(shù)據(jù)實時處理方法及裝置、計算設(shè)備。

根據(jù)本發(fā)明的一個方面，提供了一種視頻數(shù)據(jù)實時處理方法，方法對視頻數(shù)據(jù)所包含的幀圖像進行分組處理，其包括：

實時獲取圖像采集設(shè)備所拍攝和/或所錄制的視頻中的當前幀圖像；或者，實時獲取當前所播放的視頻中的當前幀圖像；

判斷當前幀圖像是否為任一分組的第1幀圖像；

若是，則將當前幀圖像輸入至經(jīng)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)中，經(jīng)過該神經(jīng)網(wǎng)絡(luò)全部卷積層和反卷積層的運算后，得到處理后的當前幀圖像；

若否，則將當前幀圖像輸入至經(jīng)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)中，在運算至神經(jīng)網(wǎng)絡(luò)的第i層卷積層得到第i層卷積層的運算結(jié)果后，獲取當前幀圖像所屬分組的第1幀圖像輸入至神經(jīng)網(wǎng)絡(luò)中得到的第j層反卷積層的運算結(jié)果，直接將第i層卷積層的運算結(jié)果與第j層反卷積層的運算結(jié)果進行圖像融合，得到處理后的當前幀圖像；其中，i和j為自然數(shù)；

輸出處理后的當前幀圖像；

重復(fù)執(zhí)行上述步驟直至完成對視頻數(shù)據(jù)中所有幀圖像的處理。

可選地，在判斷出當前幀圖像不是任一分組的第1幀圖像之后，方法還包括：

計算當前幀圖像與其所屬分組的第1幀圖像的幀間距；

根據(jù)幀間距，確定i和j的取值；其中，第i層卷積層與最后一層卷積層之間的層距與幀間距成反比關(guān)系，第j層反卷積層與輸出層之間的層距與幀間距成正比關(guān)系。

可選地，方法還包括：預(yù)先設(shè)置幀間距與i和j的取值的對應(yīng)關(guān)系。

可選地，在直接將第i層卷積層的運算結(jié)果與第j層反卷積層的運算結(jié)果進行圖像融合之后，方法還包括：

若第j層反卷積層是神經(jīng)網(wǎng)絡(luò)的最后一層反卷積層，則將圖像融合結(jié)果輸入到輸出層，以得到處理后的當前幀圖像；

若第j層反卷積層不是神經(jīng)網(wǎng)絡(luò)的最后一層反卷積層，則將圖像融合結(jié)果輸入到第j+1層反卷積層，經(jīng)過后續(xù)反卷積層和輸出層的運算，以得到處理后的當前幀圖像。