[發(fā)明專利]一種視頻幀預(yù)測(cè)方法、裝置及終端設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911420604.0
• 申請(qǐng)日: 2019-12-31
• 公開（公告）號(hào): CN111083479A
• 公開（公告）日: 2020-04-28
• 發(fā)明（設(shè)計(jì)）人: 李東陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 合肥圖鴨信息科技有限公司
• 主分類號(hào): H04N19/137
• 分類號(hào): H04N19/137;H04N19/139;H04N19/31;H04N19/503;H04N19/91
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明適用于視頻壓縮技術(shù)領(lǐng)域，提供了一種視頻幀預(yù)測(cè)方法、裝置及終端設(shè)備，所述方法包括：計(jì)算當(dāng)前幀和參考幀之間的光流信息；將所述光流信息、參考幀和當(dāng)前幀輸入運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)得到重構(gòu)光流和N個(gè)分離卷積核，其中N為正整數(shù)；根據(jù)所述重構(gòu)光流對(duì)所述參考幀進(jìn)行warp操作得到warp預(yù)測(cè)圖；根據(jù)預(yù)先設(shè)定的N個(gè)擴(kuò)張率，將所述N個(gè)分離卷積核分別作用在所述warp預(yù)測(cè)圖上得到N個(gè)分離卷積預(yù)測(cè)圖；將所述N個(gè)分離卷積預(yù)測(cè)圖輸入融合網(wǎng)絡(luò)進(jìn)行融合，得到當(dāng)前幀的預(yù)測(cè)幀。本發(fā)明通過結(jié)合擴(kuò)張卷積與分離卷積的特點(diǎn)提出擴(kuò)張分離卷積，在保持復(fù)雜度的同時(shí)擴(kuò)大分離卷積的感受野，有效提升了視頻的高效預(yù)測(cè)。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻壓縮技術(shù)領(lǐng)域，尤其涉及一種視頻幀預(yù)測(cè)方法、裝置及終端設(shè)備。

背景技術(shù)

在視頻壓縮過程中，需要利用視頻的時(shí)域相關(guān)性進(jìn)行高效預(yù)測(cè)。目前公開的技術(shù)中分離卷積是一種較為有效的方法，然而，由于復(fù)雜度問題，為了擴(kuò)大感受野分離卷積核不能無(wú)限度的擴(kuò)大，因此限制了視頻預(yù)測(cè)的效率。

因此有必要提出一種新的技術(shù)方案，以解決上述技術(shù)問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供了一種視頻幀預(yù)測(cè)方法、裝置終端設(shè)備，以解決現(xiàn)有技術(shù)中視頻預(yù)測(cè)效率不高的問題。

本發(fā)明實(shí)施例的第一方面提供了一種視頻幀預(yù)測(cè)方法，包括：

計(jì)算當(dāng)前幀和參考幀之間的光流信息；

將所述光流信息、參考幀和當(dāng)前幀輸入運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)得到重構(gòu)光流和N個(gè)分離卷積核，其中N為正整數(shù)；

根據(jù)所述重構(gòu)光流對(duì)所述參考幀進(jìn)行warp操作得到warp預(yù)測(cè)圖；

根據(jù)預(yù)先設(shè)定的N個(gè)擴(kuò)張率，將所述N個(gè)分離卷積核分別作用在所述warp預(yù)測(cè)圖上得到N個(gè)分離卷積預(yù)測(cè)圖；

將所述N個(gè)分離卷積預(yù)測(cè)圖輸入融合網(wǎng)絡(luò)進(jìn)行融合，得到當(dāng)前幀的預(yù)測(cè)幀。

本發(fā)明實(shí)施例的第二方面提供了一種視頻幀預(yù)測(cè)裝置，包括：

光流計(jì)算模塊，用于計(jì)算當(dāng)前幀和參考幀之間的光流信息；

運(yùn)動(dòng)補(bǔ)償模塊，用于將所述光流信息、參考幀和當(dāng)前幀輸入運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)得到重構(gòu)光流和N個(gè)分離卷積核，其中N為正整數(shù)；

warp模塊，用于根據(jù)所述重構(gòu)光流對(duì)所述參考幀進(jìn)行warp操作得到warp預(yù)測(cè)圖；

分離卷積模塊，用于根據(jù)預(yù)先設(shè)定的N個(gè)擴(kuò)張率，將所述N個(gè)分離卷積核分別作用在所述warp預(yù)測(cè)圖上得到N個(gè)分離卷積預(yù)測(cè)圖；

融合模塊，用于將所述N個(gè)分離卷積預(yù)測(cè)圖輸入融合網(wǎng)絡(luò)進(jìn)行融合，得到當(dāng)前幀的預(yù)測(cè)幀。

本發(fā)明實(shí)施例的第三方面提供了一種視頻幀預(yù)測(cè)終端設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在上述存儲(chǔ)器中并可在上述處理器上運(yùn)行的計(jì)算機(jī)程序，上述處理器執(zhí)行上述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上第一方面所提供的方法的步驟。

本發(fā)明實(shí)施例的第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，上述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，上述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上第一方面所提供的方法的步驟。

本發(fā)明實(shí)施例與現(xiàn)有技術(shù)相比存在的有益效果是：

本發(fā)明通過結(jié)合擴(kuò)張卷積與分離卷積的特點(diǎn)提出擴(kuò)張分離卷積，在保持復(fù)雜度的同時(shí)擴(kuò)大分離卷積的感受野，有效提升了視頻的高效預(yù)測(cè)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。