[發明專利]視頻處理方法及裝置

有效

• 申請號: 202210165405.5
• 申請日: 2022-02-23
• 公開（公告）號: CN114245206B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 蔣建文;唐銘謙
• 申請（專利權）人: 阿里巴巴達摩院（杭州）科技有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;H04N21/44;G06K9/62
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 李曉慶

本說明書實施例提供視頻處理方法及裝置，所述方法包括確定待處理視頻中目標視頻幀的初始視頻特征、目標視頻幀中目標對象的第一初始對象特征、以及其他對象的第二初始對象特征；根據特征融合模型對初始視頻特征、第一初始對象特征、以及第二初始對象特征進行處理，獲得目標視頻幀中目標對象的第一目標對象特征；將第一目標對象特征輸入視頻分類模型，獲得目標視頻幀中目標對象對應的視頻標簽。所述方法可以應用于體育解說場景中，根據特征融合模型從多實體特征表示的技術角度出發，通過視頻特征、對象特征、對象特征的相互優化處理后，對目標對象（即運動員行為）進行標簽預測，獲得較為準確的標簽預測結果，增強用戶體驗。

技術領域

本說明書實施例涉及視頻處理技術領域，特別涉及多種視頻處理方法。

背景技術

隨著視頻多媒體數據的廣泛傳播，越來越多的專業化、娛樂化視頻內容在互聯網流傳，視頻（如體育、傳媒、演藝等視頻）中包括大量的、與人相關的行為。現階段市場上存在的通用人工智能推理能力模型，其可以對視頻數據提供標簽推理。但是具體的標簽推理結果只能來源于視頻檢測器的結果、用戶檢測器的結果、或者物體檢測器的結果；因此單一的結果預測使得具體的標簽推理結果十分不準確。

發明內容

有鑒于此，本說明書實施例提供了多種視頻處理方法。本說明書一個或者多個實施例同時涉及多種視頻處理裝置，一種計算設備，一種計算機可讀存儲介質以及一種計算機程序，以解決現有技術中存在的技術缺陷。

根據本說明書實施例的第一方面，提供了一種視頻處理方法，包括：

確定待處理視頻中目標視頻幀的初始視頻特征、所述目標視頻幀中目標對象的第一初始對象特征、以及其他對象的第二初始對象特征，其中，所述其他對象為所述目標視頻幀中除所述目標對象之外的所有對象；

根據特征融合模型對所述初始視頻特征、所述第一初始對象特征、以及所述第二初始對象特征進行處理，獲得所述目標視頻幀中所述目標對象的第一目標對象特征；

將所述第一目標對象特征輸入視頻分類模型，獲得所述目標視頻幀中所述目標對象對應的視頻標簽。

根據本說明書實施例的第二方面，提供了一種視頻處理裝置，包括：

特征確定模塊，被配置為確定待處理視頻中目標視頻幀的初始視頻特征、所述目標視頻幀中目標對象的第一初始對象特征、以及其他對象的第二初始對象特征，其中，所述其他對象為所述目標視頻幀中除所述目標對象之外的所有對象；

目標對象特征獲得模塊，被配置為根據特征融合模型對所述初始視頻特征、所述第一初始對象特征、以及所述第二初始對象特征進行處理，獲得所述目標視頻幀中所述目標對象的第一目標對象特征；

標簽獲得模塊，被配置為將所述第一目標對象特征輸入視頻分類模型，獲得所述目標視頻幀中所述目標對象對應的視頻標簽。

根據本說明書實施例的第三方面，提供了一種視頻處理方法，包括：

基于用戶的調用請求為所述用戶展示視頻輸入界面；

接收所述用戶通過所述視頻輸入界面輸入的待處理視頻；

確定所述待處理視頻中目標視頻幀的初始視頻特征、所述目標視頻幀中目標對象的第一初始對象特征、以及其他對象的第二初始對象特征，其中，所述其他對象為所述目標視頻幀中除所述目標對象之外的所有對象；

根據特征融合模型對所述初始視頻特征、所述第一初始對象特征、以及所述第二初始對象特征進行處理，獲得所述目標視頻幀中所述目標對象的第一目標對象特征；

將所述第一目標對象特征輸入視頻分類模型，獲得所述目標視頻幀中所述目標對象對應的視頻標簽。

根據本說明書實施例的第四方面，提供了一種視頻處理裝置，包括：