[發(fā)明專利]視頻處理方法及裝置

有效

• 申請?zhí)枺?/td>: 202210165405.5
• 申請日: 2022-02-23
• 公開（公告）號: CN114245206B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 蔣建文;唐銘謙
• 申請（專利權(quán)）人: 阿里巴巴達(dá)摩院（杭州）科技有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;H04N21/44;G06K9/62
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 李曉慶

1.一種視頻處理方法，包括：

確定待處理視頻中目標(biāo)視頻幀的初始視頻特征、所述目標(biāo)視頻幀中目標(biāo)對象的第一初始對象特征、以及其他對象的第二初始對象特征，其中，所述其他對象為所述目標(biāo)視頻幀中除所述目標(biāo)對象之外的所有對象；

根據(jù)特征融合模型對所述初始視頻特征、所述第一初始對象特征、以及所述第二初始對象特征進(jìn)行點(diǎn)積處理，獲得所述初始視頻特征的特征響應(yīng)圖、所述第一初始對象特征的特征響應(yīng)圖、以及所述第二初始對象特征的特征響應(yīng)圖，其中，所述特征響應(yīng)圖表示特征之間的權(quán)重；

根據(jù)所述初始視頻特征的特征響應(yīng)圖、所述第一初始對象特征的特征響應(yīng)圖、以及所述第二初始對象特征的特征響應(yīng)圖進(jìn)行加權(quán)求和，獲得所述目標(biāo)視頻幀中所述目標(biāo)對象的第一目標(biāo)對象特征；

將所述第一目標(biāo)對象特征輸入視頻分類模型，獲得所述目標(biāo)視頻幀中所述目標(biāo)對象對應(yīng)的視頻標(biāo)簽。

2.根據(jù)權(quán)利要求1所述的視頻處理方法，所述確定待處理視頻中目標(biāo)視頻幀的初始視頻特征、所述目標(biāo)視頻幀中目標(biāo)對象的初始對象特征、以及其他對象的初始對象特征，包括：

獲取待處理視頻，并對所述待處理視頻進(jìn)行解析，獲取所述待處理視頻的目標(biāo)視頻幀；

根據(jù)視頻特征提取模型確定所述目標(biāo)視頻幀的視頻特征；以及

根據(jù)對象特征提取模型確定所述目標(biāo)視頻幀中目標(biāo)對象的第一初始對象特征、以及其他對象的第二初始對象特征。

3.根據(jù)權(quán)利要求2所述的視頻處理方法，所述根據(jù)視頻特征提取模型確定所述目標(biāo)視頻幀的視頻特征，包括：

對所述待處理視頻進(jìn)行視頻分析，確定所述待處理視頻對應(yīng)的視頻場景；

根據(jù)所述視頻場景確定視頻特征提取模型，并根據(jù)所述視頻特征提取模型確定所述目標(biāo)視頻幀的視頻特征。

4.根據(jù)權(quán)利要求2所述的視頻處理方法，所述根據(jù)對象特征提取模型確定所述目標(biāo)視頻幀中目標(biāo)對象的第一初始對象特征、以及其他對象的第二初始對象特征，包括：

對所述目標(biāo)視頻幀進(jìn)行對象分析，確定所述目標(biāo)視頻幀中的目標(biāo)對象以及其他對象；

根據(jù)所述目標(biāo)對象以及所述其他對象的對象屬性確定對象特征提取模型；

根據(jù)所述對象特征提取模型確定所述目標(biāo)視頻幀中目標(biāo)對象的第一初始對象特征、以及其他對象的第二初始對象特征。

5.根據(jù)權(quán)利要求4所述的視頻處理方法，所述根據(jù)所述對象特征提取模型確定所述目標(biāo)視頻幀中目標(biāo)對象的第一初始對象特征、以及其他對象的第二初始對象特征，包括：

根據(jù)所述目標(biāo)對象的對象屬性確定目標(biāo)對象特征提取模型，以及根據(jù)所述其他對象的對象屬性確定其他對象特征提取模型；

根據(jù)所述目標(biāo)對象特征提取模型確定所述目標(biāo)視頻幀中目標(biāo)對象的第一初始對象特征；

根據(jù)所述其他對象特征提取模型確定所述目標(biāo)視頻幀中其他對象的第二初始對象特征。

6.根據(jù)權(quán)利要求1所述的視頻處理方法，所述根據(jù)所述初始視頻特征的特征響應(yīng)圖、所述第一初始對象特征的特征響應(yīng)圖、以及所述第二初始對象特征的特征響應(yīng)圖進(jìn)行加權(quán)求和，獲得所述目標(biāo)視頻幀中所述目標(biāo)對象的第一目標(biāo)對象特征，包括：

依次選取所述初始視頻特征、所述第一初始對象特征、以及所述第二初始對象特征中的一個(gè)特征為初始中心特征；

根據(jù)除所述初始中心特征之外的其他特征的特征響應(yīng)圖，確定所述其他特征的權(quán)重；

根據(jù)所述初始中心特征的特征響應(yīng)圖以及所述其他特征的權(quán)重，對所述初始中心特征進(jìn)行更新，獲得目標(biāo)中心特征；

從所述目標(biāo)中心特征中確定所述目標(biāo)視頻幀中所述目標(biāo)對象的第一目標(biāo)對象特征，

其中，所述目標(biāo)中心特征包括所述初始視頻特征對應(yīng)的目標(biāo)視頻特征、所述第一初始對象特征對應(yīng)的第一目標(biāo)對象特征、以及所述第二初始對象特征對應(yīng)的第二目標(biāo)對象特征。

7.根據(jù)權(quán)利要求1所述的視頻處理方法，所述獲得所述目標(biāo)視頻幀中所述目標(biāo)對象對應(yīng)的視頻標(biāo)簽之后，還包括：

根據(jù)所述目標(biāo)視頻幀中所述目標(biāo)對象對應(yīng)的視頻標(biāo)簽，確定所述目標(biāo)視頻幀的待展示文本；以及

將所述待展示文本展示在所述目標(biāo)視頻幀的目標(biāo)展示位置。