[發(fā)明專利]對視頻中指定對象添加視頻特效的方法、裝置及移動端

有效

• 申請?zhí)枺?/td>: 202110086911.0
• 申請日: 2021-01-22
• 公開（公告）號: CN112929743B
• 公開（公告）日: 2023-03-21
• 發(fā)明（設(shè)計）人: 林青山
• 申請（專利權(quán)）人: 廣州光錐元信息科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/4402;H04N5/262
• 代理公司: 北京細(xì)軟智谷知識產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 牛晴

本發(fā)明涉及一種對視頻中指定對象添加視頻特效的方法、裝置及移動端，所述方法包括獲取待處理視頻；利用所述視頻時間軸得到參考幀摳圖結(jié)果灰度圖；根據(jù)參考幀圖像數(shù)據(jù)、參考幀摳圖結(jié)果灰度圖、跟蹤幀圖像數(shù)據(jù)進(jìn)行得到跟蹤幀摳圖結(jié)果灰度圖；將所有的摳圖結(jié)果灰度圖進(jìn)行噪聲消除，得到精確摳圖結(jié)果灰度圖；最后合成為視頻。通過本發(fā)明中提供的技術(shù)方案，用戶只要指定視頻中的某個物體，就能根據(jù)指定的坐標(biāo)，識別出視頻中距離該坐標(biāo)最完整的物體/人物，同時自動推算、識別視頻后續(xù)時間段中該物體/人物的坐標(biāo)及輪廓，然后利用特效渲染GPU對視頻逐幀添加特效，以達(dá)到對視頻中指定物體/人物添加特效的效果，此方法省時、省力。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻處理技術(shù)領(lǐng)域，具體涉及一種對視頻中指定對象添加視頻特效的方法、裝置及移動端。

背景技術(shù)

隨著用戶自制的移動視頻平臺興起，越來越多視頻制作者會嘗試在視頻中添加特效來提高視頻的表現(xiàn)力。目前移動端的主流特效添加方式一般是通過GPU渲染等技術(shù)針對視頻中特定時段添加針對整個畫面的特效，但當(dāng)用戶需要針對視頻中特定的物體/人物添加特效時，普通技術(shù)就無能為力了。

相關(guān)技術(shù)中，使用當(dāng)前市場上現(xiàn)有的技術(shù)針對視頻特定區(qū)域進(jìn)行特效渲染，可以考慮引導(dǎo)用戶手工繪制固定區(qū)域，對該區(qū)域進(jìn)行特效的渲染，但這一方式的缺點是視頻中的物體/人物，隨著播放時間的變化，其位置、區(qū)域大小也會發(fā)生相應(yīng)的變化，除非用戶想要添加特效的物體/人物在視頻中始終靜止不動，添加特效的區(qū)域隨著時間推移會產(chǎn)生偏差，無法完美地疊加到指定的物體/人物上。同時即使針對視頻中靜止不動的物體/人物，通過手工繪制區(qū)域的方式也非常費時費力。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種對視頻中指定對象添加視頻特效的方法、裝置及移動端，以解決現(xiàn)有技術(shù)中對視頻中指定區(qū)域或指定對象添加特效會產(chǎn)生偏差的問題。

為實現(xiàn)以上目的，本發(fā)明采用如下技術(shù)方案：一種對視頻中指定對象添加視頻特效的方法，包括：

獲取待處理視頻以及所述待處理視頻的視頻時間軸；

利用所述視頻時間軸暫停所述待處理視頻，確認(rèn)所述待處理視頻中待添加特效的對象所在的幀圖像作為參考幀，將所述參考幀解碼后的參考幀圖像數(shù)據(jù)進(jìn)行處理后輸入到訓(xùn)練好的交互式圖像網(wǎng)絡(luò)模型，輸出參考幀摳圖結(jié)果灰度圖；

繼續(xù)播放所述待處理視頻，多次獲取當(dāng)前播放的幀圖像作為跟蹤幀，獲取所述跟蹤幀解碼后的跟蹤幀圖像數(shù)據(jù)，將所述參考幀圖像數(shù)據(jù)、參考幀摳圖結(jié)果灰度圖、跟蹤幀圖像數(shù)據(jù)進(jìn)行處理后輸入半監(jiān)督視頻圖像分割網(wǎng)絡(luò)模型中，輸出跟蹤幀摳圖結(jié)果灰度圖；當(dāng)所述跟蹤幀摳圖結(jié)果灰度圖的數(shù)量達(dá)到預(yù)設(shè)的參考幀替換閾值時，將當(dāng)前跟蹤幀圖像數(shù)據(jù)和跟蹤幀摳圖結(jié)果灰度圖作為新的參考幀圖像數(shù)據(jù)和參考幀摳圖結(jié)果灰度圖；

將所有得到的參考幀摳圖結(jié)果灰度圖和跟蹤幀摳圖結(jié)果灰度圖進(jìn)行噪聲消除，得到所有的摳圖結(jié)果灰度圖；

結(jié)合所有的摳圖結(jié)果灰度圖，對待處理視頻中的待添加特效的對象進(jìn)行特效渲染，得到特效渲染后的圖像數(shù)據(jù)和原始音頻數(shù)據(jù)；

利用視頻硬編碼器對特效渲染后的圖像數(shù)據(jù)進(jìn)行處理，利用音頻硬編碼器對原始音頻數(shù)據(jù)進(jìn)行處理，將處理后的圖像數(shù)據(jù)和音頻數(shù)據(jù)合成為視頻文件。

進(jìn)一步的，所述獲取待處理視頻以及所述待處理視頻的視頻時間軸，包括：

獲取待處理視頻；

對所述待處理視頻以預(yù)設(shè)時間段進(jìn)行抽幀并生成當(dāng)前幀圖像對應(yīng)的縮略圖；

根據(jù)所述縮略圖以及其對應(yīng)的時間點生成視頻時間軸。

進(jìn)一步的，所述將所述參考幀解碼后的參考幀圖像數(shù)據(jù)進(jìn)行處理后輸入到訓(xùn)練好的交互式圖像網(wǎng)絡(luò)模型，輸出參考幀摳圖結(jié)果灰度圖，包括：

獲取所述參考幀解碼后的參考幀圖像數(shù)據(jù)；