[發(fā)明專(zhuān)利]一種周期性視頻數(shù)據(jù)的擴(kuò)展方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110057928.3
• 申請(qǐng)日: 2021-01-15
• 公開(kāi)（公告）號(hào): CN112801150A
• 公開(kāi)（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 安雪暉;周力;李鵬飛;丁仲聰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué);重慶交通大學(xué)
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06K9/00;G06N20/00
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 單曉雙;葉明川

本申請(qǐng)實(shí)施例提供一種周期性視頻數(shù)據(jù)的擴(kuò)展方法及裝置，方法包括：首先獲取周期性視頻數(shù)據(jù)中處于一設(shè)定時(shí)間區(qū)間內(nèi)的多幀圖像，所述多幀圖像基于每個(gè)圖像的時(shí)序信息形成一初始圖像幀實(shí)例；接著分別以所述初始圖像幀實(shí)例的每一幀圖像作為一滑動(dòng)采集窗口的起始幀，滑動(dòng)采集得到多組圖像幀實(shí)例，所述滑動(dòng)采集窗口的長(zhǎng)度為N個(gè)周期，N為正整數(shù)，并且所述滑動(dòng)采集窗口的長(zhǎng)度小于所述設(shè)定時(shí)間區(qū)間的長(zhǎng)度。本發(fā)明可以快速地?cái)U(kuò)展出多數(shù)量且高質(zhì)量的周期性視頻數(shù)據(jù)，用于機(jī)器學(xué)習(xí)模型的訓(xùn)練。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及周期性視頻數(shù)據(jù)的擴(kuò)展方法及裝置。

背景技術(shù)

AI算法已經(jīng)滲入到了我們生活的方方面面，無(wú)論是購(gòu)物推薦，廣告推送，搜索引擎還是多媒體影音娛樂(lè)，都有AI算法的影子。作為多媒體中重要的信息載體，視頻的地位可以說(shuō)是數(shù)一數(shù)二的，然而目前對(duì)于AI算法在視頻上的應(yīng)用還不夠成熟，理解視頻內(nèi)容仍然是一個(gè)重要的問(wèn)題亟待解決攻克。

利用視頻數(shù)據(jù)的最終目標(biāo)是讓算法理解視頻。理解視頻(understanding thevideo)是一件非常抽象的事情，在神經(jīng)科學(xué)尚沒(méi)有完全清晰的現(xiàn)在，如果按照人類(lèi)感知去理解這個(gè)詞，我們終將陷入泥淖。我們得具體點(diǎn)，在理解視頻這個(gè)任務(wù)中，我們到底在做什么？首先，我們要知道對(duì)比于文本，圖片和音頻，視頻有什么特點(diǎn)。視頻它是動(dòng)態(tài)的按照時(shí)間排序的圖片實(shí)例，然而圖片幀間有著密切的聯(lián)系，存在上下文聯(lián)系；視頻它有音頻信息。因此進(jìn)行視頻理解，我們勢(shì)必需要進(jìn)行時(shí)間實(shí)例上的建模，同時(shí)還需要空間上的關(guān)系組織。

相比圖像，視頻多了一維時(shí)序信息。如何利用好視頻中的時(shí)序信息是研究這類(lèi)方法的關(guān)鍵。

而在計(jì)算機(jī)視覺(jué)領(lǐng)域，高質(zhì)量的數(shù)據(jù)、高效的算法和強(qiáng)大的算力，被稱(chēng)為其的三大支柱。而數(shù)據(jù)是三者中最基礎(chǔ)的，缺乏高質(zhì)量的數(shù)據(jù)，再優(yōu)秀的算法和再?gòu)?qiáng)大的算力都是徒勞。人們?cè)诮⒋笠?guī)模數(shù)據(jù)方面，尤其是視頻數(shù)據(jù)投入了大量人力物力，比如谷歌、deepmind等。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的問(wèn)題，本申請(qǐng)?zhí)峁┮环N周期性視頻數(shù)據(jù)的擴(kuò)展方法及裝置，首先獲取周期性視頻數(shù)據(jù)中處于一設(shè)定時(shí)間區(qū)間內(nèi)的多幀圖像，所述多幀圖像基于每個(gè)圖像的時(shí)序信息形成一初始圖像幀實(shí)例；接著分別以所述初始圖像幀實(shí)例的每一幀圖像作為一滑動(dòng)采集窗口的起始幀，滑動(dòng)采集得到多組圖像幀實(shí)例，所述滑動(dòng)采集窗口的長(zhǎng)度為N個(gè)周期，N為正整數(shù)，并且所述滑動(dòng)采集窗口的長(zhǎng)度小于所述設(shè)定時(shí)間區(qū)間的長(zhǎng)度。本發(fā)明可以快速地?cái)U(kuò)展出多數(shù)量且高質(zhì)量的周期性視頻數(shù)據(jù)，用于機(jī)器學(xué)習(xí)模型的訓(xùn)練。

本發(fā)明的一方面，提供一種周期性視頻數(shù)據(jù)的擴(kuò)展方法，包括：

獲取周期性視頻數(shù)據(jù)中處于一設(shè)定時(shí)間區(qū)間內(nèi)的多幀圖像；所述多幀圖像基于每個(gè)圖像的時(shí)序信息形成一初始圖像幀實(shí)例；

分別以所述初始圖像幀實(shí)例的每一幀圖像作為一滑動(dòng)采集窗口的起始幀，滑動(dòng)采集得到多組圖像幀實(shí)例，所述滑動(dòng)采集窗口的長(zhǎng)度為N個(gè)周期，N為正整數(shù)，并且所述滑動(dòng)采集窗口的長(zhǎng)度小于所述設(shè)定時(shí)間區(qū)間的長(zhǎng)度；

其中，若所述設(shè)定時(shí)間區(qū)間的長(zhǎng)度為一個(gè)周期，則在滑動(dòng)采集得到多組圖像幀實(shí)例之前，所述訓(xùn)練集的生成步驟：

在所述滑動(dòng)采集窗口的起始幀為所述初始圖像幀實(shí)例的第二幀開(kāi)始，在所述初始圖像幀實(shí)例尾部補(bǔ)充當(dāng)前起始幀之前的每一幀圖像形成更新的初始圖像幀實(shí)例。

在優(yōu)選的實(shí)施例中，所述獲取周期性視頻數(shù)據(jù)中處于一設(shè)定時(shí)間區(qū)間內(nèi)的多幀圖像，包括：從所述設(shè)定時(shí)間區(qū)間內(nèi)的所有幀圖像中以相等的時(shí)間間隔抽取所述多幀圖像。

在優(yōu)選的實(shí)施例中，還包括：

所述圖像幀實(shí)例的標(biāo)注信息與初始圖像幀實(shí)例的標(biāo)注信息一致。

本發(fā)明的又一方面，提供一種周期性視頻數(shù)據(jù)的擴(kuò)展裝置，包括：