[發明專利]視頻處理方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202111113474.3
• 申請日: 2021-09-23
• 公開（公告）號: CN113573136B
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 馮鑫
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/44
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 董慧

1.一種視頻處理方法，其特征在于，所述方法包括：

從目標視頻中提取音頻信號；

對所述音頻信號進行信源分離處理，獲得源自于背景聲音的背景音軌和源自于說話聲音的人聲音軌；

分別定位所述背景音軌與所述人聲音軌中的活躍聲音片段；

基于所述背景音軌中的活躍聲音片段，確定所述音頻信號對應的背景聲音響度特征，以及基于所述人聲音軌中的活躍聲音片段，確定所述音頻信號對應的說話聲音響度特征；

根據所述背景聲音響度特征和所述說話聲音響度特征，獲得所述目標視頻是否需要添加目標音頻的判定結果。

2.根據權利要求1所述的方法，其特征在于，所述對所述音頻信號進行信源分離處理，獲得源自于背景聲音的背景音軌和源自于說話聲音的人聲音軌，包括：

在信源分離模型中，對所述音頻信號進行頻譜變換，得到原始頻幅譜；

通過所述信源分離模型的背景聲音特征提取網絡，對所述原始頻幅譜進行特征提取，獲得所述音頻信號對應的背景聲音特征；

通過所述信源分離模型的說話聲音特征提取網絡，對所述原始頻幅譜進行特征提取，獲得所述音頻信號對應的說話聲音特征；

基于所述背景聲音特征與所述說話聲音特征，獲得所述音頻信號中的源自于背景聲音的背景音軌和源自于說話聲音的人聲音軌。

3.根據權利要求2所述的方法，其特征在于，所述基于所述背景聲音特征與所述說話聲音特征，獲得所述音頻信號中的源自于背景聲音的背景音軌和源自于說話聲音的人聲音軌，包括：

融合所述背景聲音特征和所述說話聲音特征，得到融合特征；

基于所述背景聲音特征與所述融合特征，獲得背景聲音的第一掩碼，使用所述第一掩碼從所述原始頻幅譜中提取背景聲音頻幅譜后進行頻譜反變換，獲得源自于背景聲音的背景音軌；

基于所述說話聲音特征與所述融合特征，獲得說話聲音的第二掩碼，使用所述第二掩碼從所述原始頻幅譜中提取說話聲音頻幅譜后進行頻譜反變換，獲得源自于說話聲音的人聲音軌。

4.根據權利要求1所述的方法，其特征在于，所述分別定位所述背景音軌與所述人聲音軌中的活躍聲音片段，包括：

對所述背景音軌中的聲音片段進行活躍度檢測，得到各聲音片段對應的聲音活躍度，并從所述背景音軌中剔除聲音活躍度低于預設閾值的聲音片段后，得到所述背景音軌中的活躍聲音片段；

對所述人聲音軌中的聲音片段進行活躍度檢測，得到各聲音片段對應的聲音活躍度，并從所述人聲音軌中剔除聲音活躍度低于預設閾值的聲音片段后，得到所述人聲音軌中的活躍聲音片段。

5.根據權利要求1所述的方法，其特征在于，所述基于所述背景音軌中的活躍聲音片段，確定所述音頻信號對應的背景聲音響度特征，以及基于所述人聲音軌中的活躍聲音片段，確定所述音頻信號對應的說話聲音響度特征，包括：

基于所述背景音軌中各所述活躍聲音片段所對應的頻幅譜，計算所述背景音軌對應的短時平均能量，作為所述音頻信號對應的背景聲音響度特征；

基于所述人聲音軌中各所述活躍聲音片段所對應的頻幅譜，計算所述人聲音軌對應的短時平均能量，作為所述音頻信號對應的背景聲音響度特征。

6.根據權利要求5所述的方法，其特征在于，所述根據所述背景聲音響度特征和所述說話聲音響度特征，獲得所述目標視頻是否需要添加目標音頻的判定結果，包括：

計算所述人聲音軌對應的短時平均能量與所述背景音軌對應的短時平均能量之間的比值，當所述比值大于預設閾值時，判定所述目標視頻需要添加所述目標音頻，當所述比值小于或等于預設閾值時，判定所述目標視頻不需要添加所述目標音頻。