[發(fā)明專利]視頻預(yù)測方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011421744.2
• 申請日: 2020-12-08
• 公開（公告）號: CN112581508A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 郜杰
• 申請（專利權(quán)）人: 上海眼控科技股份有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 姜曉云

本申請涉及一種視頻預(yù)測方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)。所述方法包括：獲取歷史視頻所對應(yīng)的歷史光流信息序列；根據(jù)所述歷史光流信息序列進(jìn)行預(yù)測，得到預(yù)測光流信息序列；根據(jù)所述預(yù)測光流信息序列確定預(yù)測視頻對應(yīng)的第一時空信息；根據(jù)所述第一時空信息和所述歷史視頻進(jìn)行預(yù)測得到多個所述預(yù)測圖像，并由多個所述預(yù)測圖像組成所述預(yù)測視頻。采用本方法能夠提高視頻預(yù)測的準(zhǔn)確度。

技術(shù)領(lǐng)域

本申請涉及圖像預(yù)測技術(shù)領(lǐng)域，特別是涉及一種視頻預(yù)測方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)。

背景技術(shù)

由于視頻能夠提供豐富的視覺信息，因此越來越多的信息展現(xiàn)都會采用視頻方式。隨著計算機(jī)技術(shù)和圖像處理技術(shù)的發(fā)展，出現(xiàn)了視頻預(yù)測技術(shù)。將視頻預(yù)測技術(shù)應(yīng)用到自動駕駛領(lǐng)域、天氣預(yù)測領(lǐng)域等多個領(lǐng)域，可以為人們的工作和生活提供極大地便利。

相關(guān)技術(shù)中，視頻預(yù)測技術(shù)通常是利用光流法對于歷史視頻圖像進(jìn)行外推，得到未來視頻圖像。但是，利用光流法進(jìn)行圖像外推存在預(yù)測不準(zhǔn)確的問題。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種能夠提高預(yù)測準(zhǔn)確度的視頻預(yù)測方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)。

一種視頻預(yù)測方法，該方法包括：

獲取歷史視頻所對應(yīng)的歷史光流信息序列；歷史視頻由N個歷史圖像按照時間順序排列組成，歷史光流信息序列包括N-1個歷史光流信息，歷史光流信息表征一個歷史圖像與前一個歷史圖像之間的光流變化特征；

根據(jù)歷史光流信息序列進(jìn)行預(yù)測，得到預(yù)測光流信息序列；預(yù)測光流信息序列包括多個預(yù)測光流信息，預(yù)測光流信息表征每個預(yù)測圖像與前一個圖像之間的光流變化特征；

根據(jù)預(yù)測光流信息序列確定預(yù)測視頻對應(yīng)的第一時空信息；第一時空信息包括各預(yù)測圖像對應(yīng)的時間特征和空間特征；

根據(jù)第一時空信息和歷史視頻進(jìn)行預(yù)測得到多個預(yù)測圖像，并由多個預(yù)測圖像組成預(yù)測視頻。

在其中一個實施例中，上述根據(jù)預(yù)測光流信息序列確定預(yù)測視頻對應(yīng)的第一時空信息，包括：

根據(jù)預(yù)測光流信息序列和第N個歷史圖像進(jìn)行形變處理，得到各預(yù)測圖像所對應(yīng)的圖像內(nèi)容信息；

將各預(yù)測圖像所對應(yīng)的圖像內(nèi)容信息輸入到預(yù)先訓(xùn)練的編碼網(wǎng)絡(luò)中，得到編碼網(wǎng)絡(luò)輸出的各預(yù)測圖像對應(yīng)的時間特征和空間特征，并由多個預(yù)測圖像對應(yīng)的時間特征和空間特征組成第一時空信息。

在其中一個實施例中，上述根據(jù)預(yù)測光流信息序列和第N個歷史圖像進(jìn)行形變處理，得到各預(yù)測圖像所對應(yīng)的圖像內(nèi)容信息，包括：

根據(jù)第1個預(yù)測光流信息對第N個歷史圖像進(jìn)行形變處理，得到第1個預(yù)測圖像所對應(yīng)的圖像內(nèi)容信息；

根據(jù)第i個預(yù)測光流信息對第i-1個預(yù)測圖像進(jìn)行形變處理，得到第i個預(yù)測圖像所對應(yīng)的圖像內(nèi)容信息；其中，i為大于1的正整數(shù)。

在其中一個實施例中，上述根據(jù)第一時空信息和歷史視頻進(jìn)行預(yù)測得到多個預(yù)測圖像，包括：

將歷史視頻和第一時空信息均輸入到視頻預(yù)測網(wǎng)絡(luò)中，利用視頻預(yù)測網(wǎng)絡(luò)對歷史視頻進(jìn)行特征提取，并根據(jù)提取出的第二時空信息和第一時空信息進(jìn)行預(yù)測得到多個預(yù)測圖像；第二時空信息包括各歷史圖像對應(yīng)的時間特征和空間特征。

在其中一個實施例中，上述視頻預(yù)測網(wǎng)絡(luò)包括特征提取層，上述利用視頻預(yù)測網(wǎng)絡(luò)對歷史視頻進(jìn)行特征提取，包括：

將N個歷史圖像分別輸入到特征提取層，得到特征提取層輸出的每個歷史圖像對應(yīng)的時間特征和空間特征，并由多個歷史圖像對應(yīng)的時間特征和空間特征組成第二時空信息。

在其中一個實施例中，上述視頻預(yù)測網(wǎng)絡(luò)包括視頻預(yù)測層，上述根據(jù)提取出的第二時空信息和第一時空信息進(jìn)行預(yù)測得到多個預(yù)測圖像，包括：