[發明專利]視頻理解方法及相關裝置

在審

• 申請號: 202011075041.9
• 申請日: 2020-10-09
• 公開（公告）號: CN112597338A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 劉燁
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06F16/735
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 魏學昊

本申請提供一種視頻理解方法及相關裝置，屬于視頻理解領域。該獲取目標視頻理解任務，所述視頻理解任務至少包括從原始數據處理至視頻理解模型應用的過程中的多個子任務；獲取目標配置文件，所述目標配置文件中包括多個處理模塊的調度信息，所述處理模塊用于分別處理所述子任務；根據所述調度信息從模塊化平臺中依次調度所述處理模塊搭建視頻理解平臺；基于所述視頻理解平臺完成所述目標視頻理解任務。本申請實現視頻理解任務的系統化、個性化、便捷化及準確性處理，可以有效提升視頻理解的準確性。

技術領域

本申請涉及視頻理解技術領域，具體而言，涉及一種視頻理解方法及 相關裝置。

背景技術

視頻理解是基于視頻理解模型對視頻進行理解的工作，因此，視頻理 解工作的進行，需要解決原始數據的處理、視頻理解模型訓練及視頻理解 模型應用等很多問題，這些問題的解決組成一個完整的視頻理解任務。

目前，對于視頻理解任務的解決存在一些單點解決方案，即存在視頻 任務中的某個或幾個單點問題進行各自解決的方案，難以系統化處理，同 時，對于不同需求的問題往往需要大量代碼變動工作進行解決，難以個性 化、便捷地及準確地處理視頻理解任務，且會導致視頻理解的準確性有限。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開 的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技 術的信息。

發明內容

本申請實施例的目的在于提供一種視頻理解方法及裝置，其能夠實現 視頻理解任務的系統化、個性化、便捷化及準確性處理，可以有效提升視 頻理解的準確性。

根據本申請的一個實施例，一種視頻理解方法，包括：獲取目標視頻 理解任務，所述視頻理解任務至少包括從原始數據處理至視頻理解模型應 用的過程中的多個子任務；獲取目標配置文件，所述目標配置文件中包括 多個處理模塊的調度信息，所述處理模塊用于分別處理所述子任務；根據 所述調度信息從模塊化平臺中依次調度所述處理模塊搭建視頻理解平臺； 基于所述視頻理解平臺完成所述目標視頻理解任務。

根據本申請的一個實施例，一種視頻理解裝置，所述裝置包括：第一 獲取模塊，用于獲取目標視頻理解任務，所述視頻理解任務至少包括從原 始數據處理至視頻理解模型應用的過程中的多個子任務；第二獲取模塊， 用于獲取目標配置文件，所述目標配置文件中包括多個處理模塊的調度信 息，所述處理模塊用于分別處理所述子任務；搭建模塊，用于根據所述調 度信息從模塊化平臺中依次調度所述處理模塊搭建視頻理解平臺；理解模塊，用于基于所述視頻理解平臺完成所述目標視頻理解任務。

在本申請的一些實施例中，所述第二獲取模塊包括：應用場景獲取單 元，用于獲取所述目標視頻理解任務所對應的視頻理解模型應用后的應用 場景，所述應用場景下需要處理多個目標子任務；配置文件獲取單元，用 于獲取所述應用場景所匹配的配置文件模板作為所述目標配置文件，所述 配置文件模板中包括處理每個所述目標子任務的處理模塊的調度信息。

在本申請的一些實施例中，所述配置文件獲取單元包括：需求獲取子 單元，用于獲取所述應用場景下的任務處理需求，所述任務處理需求至少 包括應用所述視頻理解模型進行視頻理解時的模型精度、模型延遲率、模 型消耗內存、模型功耗需求中一種；文件獲取子單元，用于獲取所述任務 處理需求所匹配的配置文件模板作為所述目標配置文件，所述配置文件模 板中包括處理每個所述目標子任務且匹配所述任務處理需求的處理模塊的調度信息。

在本申請的一些實施例中，所述文件獲取子單元包括：確定子單元， 用于根據所述任務處理需求確定每個所述目標子任務的子任務處理需求； 確定獲取子單元，用于根據每個所述目標子任務的子任務處理需求獲取所 述目標配置文件，所述目標配置文件中包括處理每個所述目標子任務且匹 配所述子任務處理需求的處理模塊的調度信息。