[發(fā)明專利]一種視頻預(yù)測方法、裝置、存儲(chǔ)介質(zhì)及終端

有效

• 申請(qǐng)?zhí)枺?/td>: 202010590741.5
• 申請(qǐng)日: 2020-06-24
• 公開（公告）號(hào): CN111901673B
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 王苫社;常崢;張新峰;馬思偉;高文
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): H04N21/44
• 分類號(hào): H04N21/44
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 付婧

本發(fā)明公開了一種視頻預(yù)測方法、裝置、存儲(chǔ)介質(zhì)及終端，所述方法包括：根據(jù)時(shí)空信息、時(shí)域信息和空域信息生成并輸出第一視頻當(dāng)前時(shí)刻的第一輸出信息；通過視頻解碼器對(duì)第一輸出信息進(jìn)行解碼并預(yù)測出當(dāng)前時(shí)刻的視頻預(yù)測片段；對(duì)預(yù)測出的各個(gè)時(shí)刻的視頻預(yù)測片段進(jìn)行拼接，得到并輸出具有第二預(yù)設(shè)幀數(shù)的第二視頻，第二視頻為第一視頻的預(yù)測視頻、且第一預(yù)設(shè)幀數(shù)小于第二預(yù)設(shè)幀數(shù)，因此，采用本申請(qǐng)實(shí)施例，由于能夠根據(jù)獲取的具有第一預(yù)設(shè)幀數(shù)的第一視頻，預(yù)測出具有第二預(yù)設(shè)幀數(shù)的第二視頻，這樣，無需在內(nèi)存中存儲(chǔ)第一視頻的完整視頻，提升了視頻的加載速度，加載視頻無需等待，提高了用戶體驗(yàn)度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)字信號(hào)處理技術(shù)領(lǐng)域，特別涉及一種視頻預(yù)測方法、裝置、存儲(chǔ)介質(zhì)及終端。

背景技術(shù)

視頻預(yù)測技術(shù)在多種領(lǐng)域都有很大的應(yīng)用，如在視頻編碼領(lǐng)域中可以在很大程度上面節(jié)省碼率，在視頻分類領(lǐng)域中可以僅僅根據(jù)很短一段視頻進(jìn)行分類。視頻預(yù)測問題同時(shí)又很復(fù)雜，因?yàn)橐曨l數(shù)據(jù)不同于圖片數(shù)據(jù)，除了每幀視頻幀的空間特性外，視頻幀之間還有很復(fù)雜的時(shí)域特性，近些年來，隨著深度學(xué)習(xí)的迅猛發(fā)展，許多基于深度學(xué)習(xí)的視頻預(yù)測方法被提出，大致可以被分成兩類：基于卷積神經(jīng)網(wǎng)絡(luò)的方法，以及基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法。基于卷積神經(jīng)網(wǎng)絡(luò)的方法通過學(xué)習(xí)輸入視頻序列的內(nèi)部特征來預(yù)測生成之后的少數(shù)視頻幀，但是如果需要預(yù)測的視頻幀比較長，這種方法的計(jì)算量會(huì)很大，并且卷積神經(jīng)網(wǎng)絡(luò)雖然對(duì)于視頻空間特性的提取能力也比較弱，為了解決這些問題，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法近些年來被廣泛提出。

循環(huán)神經(jīng)網(wǎng)絡(luò)以特定記憶單元為基礎(chǔ)(如LSTM，GRU等)，可以高效地捕捉序列數(shù)據(jù)的時(shí)域信息，在自然語言處理領(lǐng)域已經(jīng)得到了廣泛的利用，視頻可以看作是一種特殊的序列數(shù)據(jù)，因此，近些年來基于循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻預(yù)測方法已經(jīng)被提出，通過將卷積核融合進(jìn)記憶單元中，視頻的時(shí)域信息和空域信息都可被很好地捕捉，然后當(dāng)前的方法模型復(fù)雜性比較大，并且在預(yù)測長視頻序列的任務(wù)中，仍然不能得到令人滿意的結(jié)果。

現(xiàn)有的視頻預(yù)測方法，無法做到僅僅根據(jù)當(dāng)前視頻的某一段視頻就準(zhǔn)確地預(yù)測出當(dāng)前視頻的其余視頻片段。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種視頻預(yù)測方法、裝置、存儲(chǔ)介質(zhì)及終端。為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。

第一方面，本申請(qǐng)實(shí)施例提供了一種視頻預(yù)測方法，所述方法包括：

獲取具有第一預(yù)設(shè)幀數(shù)的第一視頻；

對(duì)所述第一視頻的各個(gè)視頻片段同步進(jìn)行時(shí)域處理和空域處理，得到并輸出對(duì)應(yīng)的時(shí)域信息和空域信息；

根據(jù)時(shí)空信息、所述時(shí)域信息和所述空域信息生成并輸出所述第一視頻當(dāng)前時(shí)刻的第一輸出信息；

通過視頻解碼器對(duì)所述第一輸出信息進(jìn)行解碼并預(yù)測出當(dāng)前時(shí)刻的視頻預(yù)測片段；

對(duì)預(yù)測出的各個(gè)時(shí)刻的視頻預(yù)測片段進(jìn)行拼接，得到并輸出具有第二預(yù)設(shè)幀數(shù)的第二視頻，所述第二視頻為所述第一視頻的預(yù)測視頻、且所述第一預(yù)設(shè)幀數(shù)小于所述第二預(yù)設(shè)幀數(shù)。

第二方面，本申請(qǐng)實(shí)施例提供了一種視頻預(yù)測裝置，所述裝置包括：

視頻獲取模塊，用于獲取具有第一預(yù)設(shè)幀數(shù)的第一視頻；

時(shí)域及空域同步處理模塊，用于對(duì)所述視頻獲取模塊獲取的所述第一視頻的各個(gè)視頻片段同步進(jìn)行時(shí)域處理和空域處理，得到并輸出對(duì)應(yīng)的時(shí)域信息和空域信息；

第一輸出信息生成及輸出模塊，用于根據(jù)時(shí)空信息、所述時(shí)域及空域同步處理模塊輸出的所述時(shí)域信息和所述空域信息生成并輸出所述第一視頻當(dāng)前時(shí)刻的第一輸出信息；