[發(fā)明專利]視頻理解方法及相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011075041.9
• 申請(qǐng)日: 2020-10-09
• 公開（公告）號(hào): CN112597338A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 劉燁
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/75
• 分類號(hào): G06F16/75;G06F16/735
• 代理公司: 深圳市隆天聯(lián)鼎知識(shí)產(chǎn)權(quán)代理有限公司 44232
• 代理人: 魏學(xué)昊

1.一種視頻理解方法，其特征在于，所述方法包括：

獲取目標(biāo)視頻理解任務(wù)，所述視頻理解任務(wù)至少包括從原始數(shù)據(jù)處理至視頻理解模型應(yīng)用的過(guò)程中的多個(gè)子任務(wù)；

獲取目標(biāo)配置文件，所述目標(biāo)配置文件中包括多個(gè)處理模塊的調(diào)度信息，所述處理模塊用于分別處理所述子任務(wù)；

根據(jù)所述調(diào)度信息從模塊化平臺(tái)中依次調(diào)度所述處理模塊搭建視頻理解平臺(tái)；

基于所述視頻理解平臺(tái)完成所述目標(biāo)視頻理解任務(wù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取目標(biāo)配置文件，所述目標(biāo)配置文件中包括多個(gè)處理模塊的調(diào)度信息，所述處理模塊用于分別處理所述子任務(wù)，包括：

獲取所述目標(biāo)視頻理解任務(wù)所對(duì)應(yīng)的視頻理解模型應(yīng)用后的應(yīng)用場(chǎng)景，所述應(yīng)用場(chǎng)景下需要處理多個(gè)目標(biāo)子任務(wù)；

獲取所述應(yīng)用場(chǎng)景所匹配的配置文件模板作為所述目標(biāo)配置文件，所述配置文件模板中包括處理每個(gè)所述目標(biāo)子任務(wù)的處理模塊的調(diào)度信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取所述應(yīng)用場(chǎng)景所匹配的第一配置文件模板作為所述目標(biāo)配置文件，所述配置文件模板中包括處理每個(gè)所述目標(biāo)子任務(wù)的處理模塊的調(diào)度信息，包括：

獲取所述應(yīng)用場(chǎng)景下的任務(wù)處理需求，所述任務(wù)處理需求至少包括應(yīng)用所述視頻理解模型進(jìn)行視頻理解時(shí)的模型精度、模型延遲率、模型消耗內(nèi)存、模型功耗需求中一種；

獲取所述任務(wù)處理需求所匹配的配置文件模板作為所述目標(biāo)配置文件，所述配置文件模板中包括處理每個(gè)所述目標(biāo)子任務(wù)且匹配所述任務(wù)處理需求的處理模塊的調(diào)度信息。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述獲取所述任務(wù)處理需求所匹配的配置文件模板作為所述目標(biāo)配置文件，所述配置文件模板中包括處理每個(gè)所述目標(biāo)子任務(wù)且匹配所述任務(wù)處理需求的處理模塊的調(diào)度信息，包括：

根據(jù)所述任務(wù)處理需求確定每個(gè)所述目標(biāo)子任務(wù)的子任務(wù)處理需求；

根據(jù)每個(gè)所述目標(biāo)子任務(wù)的子任務(wù)處理需求獲取所述目標(biāo)配置文件，所述目標(biāo)配置文件中包括處理每個(gè)所述目標(biāo)子任務(wù)且匹配所述子任務(wù)處理需求的處理模塊的調(diào)度信息。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述任務(wù)處理需求確定每個(gè)所述目標(biāo)子任務(wù)的子任務(wù)處理需求，包括：

將每個(gè)所述目標(biāo)子任務(wù)的任務(wù)信息及所述任務(wù)處理需求輸入預(yù)設(shè)的需求決策模型，以使得所述需求決策模型根據(jù)所述任務(wù)處理需求為每個(gè)所述目標(biāo)子任務(wù)分配子任務(wù)處理需求。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述處理模塊中包括多個(gè)原子模塊，所述子任務(wù)包括多個(gè)維度的單維度任務(wù)，所述原子模塊用于分別處理所述單維度任務(wù)；

所述根據(jù)所述調(diào)度信息從模塊化平臺(tái)中依次調(diào)度所述處理模塊搭建目標(biāo)視頻理解平臺(tái)，包括：

根據(jù)所述調(diào)度信息獲取每個(gè)所述處理模塊的搭建配置，所述搭建配置中包括每個(gè)所述處理模塊中所需的目標(biāo)原子模塊及所述目標(biāo)原子模塊的配置參數(shù)；

將每個(gè)所述處理模塊中所需的目標(biāo)原子模塊的配置參數(shù)添加至所述目標(biāo)原子模塊的參數(shù)設(shè)置位置，并將每個(gè)所述處理模塊中所需的目標(biāo)原子模塊組裝在一起得到多個(gè)搭建好的多個(gè)處理模塊；

依次組合所述搭建好的多個(gè)處理模塊得到所述目標(biāo)視頻理解平臺(tái)。