[發(fā)明專利]視頻關(guān)鍵點(diǎn)處理方法、裝置、計算設(shè)備及計算機(jī)存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201711249787.5
• 申請日: 2017-12-01
• 公開（公告）號: CN107967693B
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計）人: 劉洛麒;張望;肖勝濤;熊超
• 申請（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;H04N21/44
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

本發(fā)明公開了一種視頻關(guān)鍵點(diǎn)處理方法、裝置、計算設(shè)備及計算機(jī)存儲介質(zhì)。其中方法根據(jù)關(guān)鍵點(diǎn)的移動速度，選取相應(yīng)的模型對利用神經(jīng)網(wǎng)絡(luò)預(yù)測得到的第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行修正處理，利用修正處理后的第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息，對第t幀圖像進(jìn)行處理，得到處理后的第t幀圖像，將處理后的第t幀圖像覆蓋第t幀圖像得到處理后的視頻數(shù)據(jù)，克服了由于環(huán)境光線的變化或者預(yù)測算法不穩(wěn)定性，導(dǎo)致預(yù)測出來的關(guān)鍵點(diǎn)在連續(xù)的視頻幀圖像中發(fā)生不規(guī)律的抖動的問題，有效地改善了視頻展示效果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種視頻關(guān)鍵點(diǎn)處理方法、裝置、計算設(shè)備及計算機(jī)存儲介質(zhì)。

背景技術(shù)

隨著科技的發(fā)展，圖像采集設(shè)備的技術(shù)也日益提高。使用圖像采集設(shè)備錄制的視頻也更加清晰、分辨率、顯示效果也大幅提高。為了便于為特定對象添加萌顏特效等，需要預(yù)測視頻幀圖像中的關(guān)鍵點(diǎn)的坐標(biāo)信息，但由于環(huán)境光線的變化和預(yù)測算法的不穩(wěn)定性，往往導(dǎo)致預(yù)測出來的關(guān)鍵點(diǎn)在連續(xù)的視頻幀中發(fā)生不規(guī)律的抖動，這樣，就會使得萌顏特效所添加的位置不合適，例如，本應(yīng)該添加至眉毛處的特效卻添加至兩眉之間，用戶體驗差。

因此，需要一種視頻關(guān)鍵點(diǎn)處理方法，以修正視頻幀圖像中關(guān)鍵點(diǎn)的坐標(biāo)信息。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的視頻關(guān)鍵點(diǎn)處理方法、裝置、計算設(shè)備及計算機(jī)存儲介質(zhì)。

根據(jù)本發(fā)明的一個方面，提供了一種視頻關(guān)鍵點(diǎn)處理方法，其包括：

獲取視頻數(shù)據(jù)；

獲取視頻數(shù)據(jù)中第t幀圖像，其中t大于1；

將第t幀圖像輸入至神經(jīng)網(wǎng)絡(luò)中得到第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息；

根據(jù)關(guān)鍵點(diǎn)的移動速度，選取靜態(tài)模型或動態(tài)模型對第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行修正處理，其中，靜態(tài)模型依據(jù)第t-n+1幀圖像至第t-1幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息對第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行修正處理，n為預(yù)設(shè)值，動態(tài)模型依據(jù)關(guān)鍵點(diǎn)的移動速度對第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行修正處理；

利用修正處理后的第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息，對第t幀圖像進(jìn)行處理，得到處理后的第t幀圖像；

將處理后的第t幀圖像覆蓋第t幀圖像得到處理后的視頻數(shù)據(jù)。

可選地，獲取視頻數(shù)據(jù)進(jìn)一步包括：獲取本地視頻數(shù)據(jù)和/或網(wǎng)絡(luò)視頻數(shù)據(jù)。

可選地，獲取視頻數(shù)據(jù)進(jìn)一步包括：獲取由多個本地圖片和/或多個網(wǎng)絡(luò)圖片合成的視頻數(shù)據(jù)。

可選地，根據(jù)關(guān)鍵點(diǎn)的移動速度，選取靜態(tài)模型或動態(tài)模型對第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行修正處理進(jìn)一步包括：

判斷關(guān)鍵點(diǎn)的移動速度是否大于預(yù)設(shè)閾值，若是，則選取動態(tài)模型對第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行修正處理；否則，選取靜態(tài)模型對第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行修正處理。

可選地，選取靜態(tài)模型對第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行修正處理進(jìn)一步包括：

獲取第t-n+1幀圖像至第t-1幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息，n為預(yù)設(shè)值；

針對第t-n+1幀圖像至第t幀圖像中的任一幀圖像，根據(jù)該幀圖像與第t幀圖像之間的幀距以及該幀圖像的關(guān)鍵點(diǎn)與第t幀圖像的關(guān)鍵點(diǎn)之間的距離確定該幀圖像的權(quán)重；

根據(jù)第t-n+1幀圖像至第t幀圖像的權(quán)重，將第t-n+1幀圖像至第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行加權(quán)平均，得到修正處理后的第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息。

可選地，選取動態(tài)模型對第t幀圖像的關(guān)鍵點(diǎn)的坐標(biāo)信息進(jìn)行修正處理進(jìn)一步包括：