[發(fā)明專利]一種視頻合成方法及裝置

有效

• 申請?zhí)枺?/td>: 201910283670.1
• 申請日: 2019-04-09
• 公開（公告）號: CN111800663B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計）人: 鄒娟
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/4402;G06V40/16
• 代理公司: 北京清源匯知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11644
• 代理人: 馮德魁;竇曉慧

1.一種視頻合成方法，其特征在于，包括：

根據(jù)原始視頻材料，獲得包含目標(biāo)人物的人物軌道數(shù)據(jù)，包括：針對所述原始視頻材料中的人物進(jìn)行人臉識別，獲得人臉出現(xiàn)的時間數(shù)據(jù)、人臉占據(jù)視頻畫面的區(qū)域數(shù)據(jù)以及人物元數(shù)據(jù)；根據(jù)所述時間數(shù)據(jù)、所述人臉占據(jù)視頻畫面的區(qū)域數(shù)據(jù)以及所述人物元數(shù)據(jù)，獲得包含目標(biāo)人物的人物軌道數(shù)據(jù)，其中，所述人物軌道基于視頻軌道抽象獲得，所述人物軌道數(shù)據(jù)是以人物為核心線索組織的具有時間順序的素材；

根據(jù)對目標(biāo)人物的視覺要求，針對所述人物軌道數(shù)據(jù)中的原始時間線進(jìn)行優(yōu)化處理，獲得優(yōu)化后的目標(biāo)人物素材的時間線，包括：針對目標(biāo)人物素材的特效渲染進(jìn)行回歸處理，獲得優(yōu)化后的目標(biāo)人物素材的時間線，其中，所述針對目標(biāo)人物素材的特效渲染進(jìn)行回歸處理，包括：針對目標(biāo)人物素材的縮放特效渲染、移動特效渲染、和/或淡入淡出特效渲染進(jìn)行回歸處理；

根據(jù)所述優(yōu)化后的目標(biāo)人物素材的時間線，合成相關(guān)素材，獲得目標(biāo)視頻。

2.根據(jù)權(quán)利要求1所述的視頻合成方法，其特征在于，所述針對所述人物軌道數(shù)據(jù)中的原始時間線進(jìn)行優(yōu)化處理，獲得優(yōu)化后的目標(biāo)人物素材的時間線，包括：

獲取所述目標(biāo)視頻的視頻合成規(guī)則；

根據(jù)所述視頻合成規(guī)則，將所述原始時間線進(jìn)行分軌處理，獲得優(yōu)化后的目標(biāo)人物素材的時間線。

3.根據(jù)權(quán)利要求2所述的視頻合成方法，其特征在于，所述目標(biāo)視頻的視頻合成規(guī)則包括如下規(guī)則中的至少一種：

按照人物的不同進(jìn)行視頻合成；

按照景別的不同進(jìn)行視頻合成；

按照拍攝方式的不同進(jìn)行視頻合成。

4.根據(jù)權(quán)利要求2所述的視頻合成方法，其特征在于，所述根據(jù)所述視頻合成規(guī)則，將所述原始時間線進(jìn)行分軌處理，包括：

根據(jù)所述合成規(guī)則，獲得所述原始時間線的軌道；

其中，所述原始時間線的每個軌道，分別對應(yīng)所述合成規(guī)則的一種情況。

5.根據(jù)權(quán)利要求1所述的視頻合成方法，其特征在于，所述針對目標(biāo)人物素材的縮放特效渲染進(jìn)行回歸處理，包括：

在對目標(biāo)人物素材進(jìn)行放大或縮小過程中，判斷所述目標(biāo)人物素材對應(yīng)的人臉區(qū)域是否超過輸出視頻的邊界；

若是，則根據(jù)縮放時長與人臉在畫面中的區(qū)域調(diào)整縮放的起止倍數(shù)。

6.根據(jù)權(quán)利要求1所述的視頻合成方法，其特征在于，所述針對目標(biāo)人物素材的縮放特效渲染進(jìn)行回歸處理，包括：

根據(jù)目標(biāo)人物素材中人物在畫面中的占比和所述人物的數(shù)量，調(diào)整放大或縮小的縮放中心點(diǎn)位置。

7.根據(jù)權(quán)利要求1所述的視頻合成方法，其特征在于，所述針對目標(biāo)人物素材的移動特效渲染進(jìn)行回歸處理，包括：

在針對所述目標(biāo)人物素材進(jìn)行移動特效渲染時，判斷在移動過程中，所述目標(biāo)人物素材對應(yīng)的人臉區(qū)域是否超過輸出視頻的邊界；

若是，則根據(jù)移動時長與人臉在畫面中的區(qū)域調(diào)整人物移動的起止位置、移動方向和/或移動路線。

8.根據(jù)權(quán)利要求1所述的視頻合成方法，其特征在于，所述針對目標(biāo)人物素材的淡入淡出特效渲染進(jìn)行回歸處理，包括：

在對目標(biāo)人物素材進(jìn)行淡入淡出特效渲染時，獲取漸變過程中目標(biāo)人物素材對應(yīng)的人臉區(qū)間的位置；

根據(jù)所述人臉區(qū)間的位置，確定人臉區(qū)域的保留時間。

9.根據(jù)權(quán)利要求1所述的視頻合成方法，其特征在于，所述針對所述人物軌道數(shù)據(jù)中的原始時間線進(jìn)行優(yōu)化處理，獲得優(yōu)化后的目標(biāo)人物素材的時間線，包括：

獲取進(jìn)行視頻合成時目標(biāo)人物素材對應(yīng)的輔助軌道素材；

調(diào)整所述輔助軌道素材的時間線以及所述輔助軌道素材對應(yīng)的畫面位置，以避免所述輔助軌道素材遮擋目標(biāo)人物素材。

10.根據(jù)權(quán)利要求9所述的視頻合成方法，其特征在于，所述輔助軌道素材包括如下素材中的至少一種：

貼紙；

動畫；

橫幅文字；

字幕。