[發(fā)明專利]媒體數(shù)據(jù)的排重方法、目標(biāo)模型的訓(xùn)練方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210934297.3
• 申請(qǐng)日: 2022-08-04
• 公開(kāi)（公告）號(hào): CN115292541A
• 公開(kāi)（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 郭卉
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583;G06V10/42;G06V10/762;G06V10/74;G06V10/774
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 楊歡

本申請(qǐng)涉及一種媒體數(shù)據(jù)的排重方法、目標(biāo)模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，本申請(qǐng)實(shí)施例可應(yīng)用于云技術(shù)、人工智能、智慧交通、輔助駕駛、音視頻等各種場(chǎng)景。媒體數(shù)據(jù)可以為視頻。所述方法包括：對(duì)待處理媒體數(shù)據(jù)進(jìn)行物體檢測(cè)，并基于物體檢測(cè)結(jié)果對(duì)待處理媒體數(shù)據(jù)進(jìn)行劃分得到多個(gè)物體子圖；提取每個(gè)物體子圖的物體表征；基于提取得到的物體表征確定與各個(gè)物體分別對(duì)應(yīng)的目標(biāo)物體表征；獲取物體表征庫(kù)；從物體表征庫(kù)中查找與目標(biāo)物體表征間滿足相似條件的參考物體表征，并根據(jù)查找結(jié)果確定待處理媒體數(shù)據(jù)的排重結(jié)果。提升了排重結(jié)果準(zhǔn)確度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種媒體數(shù)據(jù)的排重方法、目標(biāo)模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)

隨著各種可視化應(yīng)用的興起，越來(lái)越多的場(chǎng)景需要使用到媒體數(shù)據(jù)排重技術(shù)。媒體數(shù)據(jù)排重技術(shù)為從媒體庫(kù)中查找與當(dāng)前媒體數(shù)據(jù)相似的媒體數(shù)據(jù)。

傳統(tǒng)技術(shù)中，常常直接根據(jù)待處理的媒體數(shù)據(jù)的全局特征，與媒體庫(kù)中存儲(chǔ)的每個(gè)媒體數(shù)據(jù)各自對(duì)應(yīng)的全局特征進(jìn)行對(duì)比，直接根據(jù)全局特征的比對(duì)結(jié)果來(lái)對(duì)待處理的媒體數(shù)據(jù)進(jìn)行排重。

然而，對(duì)于某些情況，比如當(dāng)背景占據(jù)整張圖像的大部分區(qū)域的時(shí)候，全局特征往往描述的是圖像上的背景信息，采用這種方式召回的媒體數(shù)據(jù)容易存在排重結(jié)果準(zhǔn)確度不高的問(wèn)題。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠提升召回準(zhǔn)確度的媒體數(shù)據(jù)的排重方法、裝置、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，還提供一種目標(biāo)模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

一方面，本申請(qǐng)?zhí)峁┝艘环N媒體數(shù)據(jù)的排重方法。方法包括：

對(duì)待處理媒體數(shù)據(jù)進(jìn)行物體檢測(cè)，并基于物體檢測(cè)結(jié)果對(duì)待處理媒體數(shù)據(jù)進(jìn)行劃分得到多個(gè)物體子圖，其中，每個(gè)物體子圖分別對(duì)應(yīng)一個(gè)物體；

提取每個(gè)物體子圖的物體表征，其中，從物體子圖中提取出的物體表征用于表示相應(yīng)物體子圖所對(duì)應(yīng)物體的隱層特征；

基于提取得到的物體表征確定與各個(gè)物體分別對(duì)應(yīng)的目標(biāo)物體表征；

獲取物體表征庫(kù)，物體表征庫(kù)中存儲(chǔ)有多個(gè)參考物體表征，以及每個(gè)參考物體表征與各自所屬媒體數(shù)據(jù)的對(duì)應(yīng)關(guān)系；

從物體表征庫(kù)中查找與目標(biāo)物體表征間滿足相似條件的參考物體表征，并根據(jù)查找結(jié)果確定待處理媒體數(shù)據(jù)的排重結(jié)果。

另一方面，本申請(qǐng)還提供了一種媒體數(shù)據(jù)的排重裝置。裝置包括：

劃分模塊，用于對(duì)待處理媒體數(shù)據(jù)進(jìn)行物體檢測(cè)，并基于物體檢測(cè)結(jié)果對(duì)待處理媒體數(shù)據(jù)進(jìn)行劃分得到多個(gè)物體子圖，其中，每個(gè)物體子圖分別對(duì)應(yīng)一個(gè)物體；

提取模塊，用于提取每個(gè)物體子圖的物體表征，其中，從物體子圖中提取出的物體表征用于表示相應(yīng)物體子圖所對(duì)應(yīng)物體的隱層特征；

確定模塊，用于基于提取得到的物體表征確定與各個(gè)物體分別對(duì)應(yīng)的目標(biāo)物體表征；

獲取模塊，用于獲取物體表征庫(kù)，物體表征庫(kù)中存儲(chǔ)有多個(gè)參考物體表征，以及每個(gè)參考物體表征與各自所屬媒體數(shù)據(jù)的對(duì)應(yīng)關(guān)系；

排重模塊，用于從物體表征庫(kù)中查找與目標(biāo)物體表征間滿足相似條件的參考物體表征，并根據(jù)查找結(jié)果確定待處理媒體數(shù)據(jù)的排重結(jié)果。

在一些實(shí)施例中，待處理媒體數(shù)據(jù)包括待處理視頻，劃分模塊具體用于：從待處理視頻中抽取得到至少一幀全局圖像；對(duì)每幀全局圖像進(jìn)行物體檢測(cè)，得到每幀全局圖像各自對(duì)應(yīng)的特征熱力圖；基于每幀全局圖像各自對(duì)應(yīng)的特征熱力圖，從至少一幀全局圖像中截取出多個(gè)物體子圖。