[發(fā)明專利]視頻目標(biāo)分割方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110592660.3
• 申請(qǐng)日: 2021-05-28
• 公開（公告）號(hào): CN113763385A
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計(jì)）人: 何盛烽;陳浩鑫;孫子荀;鄧大付;王巨宏
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué);騰訊科技（深圳）有限公司
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 張所明

本申請(qǐng)公開了一種視頻目標(biāo)分割方法、裝置、設(shè)備及介質(zhì)，涉及人工智能領(lǐng)域。包括：對(duì)支持集中的支持圖像進(jìn)行特征提取，得到支持圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征；對(duì)查詢視頻中的視頻圖像進(jìn)行特征提取，得到視頻圖像的視頻圖像特征；基于目標(biāo)對(duì)象特征和視頻圖像特征，確定第一注意力矩陣和第二注意力矩陣，第一注意力矩陣為所述支持集與領(lǐng)域代理之間的注意力矩陣，第二注意力矩陣為查詢視頻與領(lǐng)域代理之間的注意力矩陣；基于第一注意力矩陣和第二注意力矩陣，確定目標(biāo)注意力特征，目標(biāo)注意力特征用于表示支持集作用于查詢視頻的注意力；基于目標(biāo)注意力特征進(jìn)行目標(biāo)分割，得到目標(biāo)分割結(jié)果，目標(biāo)分割結(jié)果用于表征目標(biāo)對(duì)象在各幀視頻圖像中的位置。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及人工智能領(lǐng)域，特別涉及一種視頻目標(biāo)分割方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

少樣本視頻目標(biāo)分割是一種以少量經(jīng)過(guò)標(biāo)注的支持圖像作為提示，從視頻圖像中分割出特定對(duì)象的技術(shù)，其中，支持圖像的標(biāo)注用于指示特定對(duì)象在支持圖像中所處的位置。

相關(guān)技術(shù)中，通常采用基于全連接的多對(duì)多注意力機(jī)制實(shí)現(xiàn)少樣本視頻目標(biāo)分割。在進(jìn)行目標(biāo)分割時(shí)，計(jì)算機(jī)設(shè)備對(duì)支持圖像和視頻圖像分別進(jìn)行特征提取，并將提取到的特征作為注意力模型的輸入，由注意力模型進(jìn)行注意力特征提取，最終基于提取到的注意力特征實(shí)現(xiàn)目標(biāo)分割。

然而，基于全連接的多對(duì)多注意力機(jī)制下，目標(biāo)分割過(guò)程中的計(jì)算量隨著支持圖像以及視頻圖像的增多呈指數(shù)級(jí)增長(zhǎng)，導(dǎo)致目標(biāo)分割的速度較慢，甚至?xí)霈F(xiàn)無(wú)法完成目標(biāo)分割的問題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種視頻目標(biāo)分割方法、裝置、設(shè)備及介質(zhì)，能夠降低目標(biāo)分割過(guò)程中的計(jì)算量，從而提高目標(biāo)分割的速度。所述技術(shù)方案如下：

一方面，本申請(qǐng)實(shí)施例提供了一種視頻目標(biāo)分割方法，所述方法包括：

對(duì)支持集中的支持圖像進(jìn)行特征提取，得到所述支持圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征；

對(duì)查詢視頻中的視頻圖像進(jìn)行特征提取，得到所述視頻圖像的視頻圖像特征；

基于所述目標(biāo)對(duì)象特征和所述視頻圖像特征，確定第一注意力矩陣和第二注意力矩陣，所述第一注意力矩陣為所述支持集與領(lǐng)域代理之間的注意力矩陣，所述第二注意力矩陣為所述查詢視頻與所述領(lǐng)域代理之間的注意力矩陣，所述領(lǐng)域代理為所述查詢視頻中的一幀視頻圖像；

基于所述第一注意力矩陣和所述第二注意力矩陣，確定目標(biāo)注意力特征，所述目標(biāo)注意力特征用于表示所述支持集作用于所述查詢視頻的注意力；

基于所述目標(biāo)注意力特征進(jìn)行目標(biāo)分割，得到目標(biāo)分割結(jié)果，所述目標(biāo)分割結(jié)果用于表征所述目標(biāo)對(duì)象在各幀所述視頻圖像中的位置。

可選的，視頻圖像特征由編碼器提取得到，目標(biāo)分割結(jié)果由解碼器解碼得到，所述編碼器與所述解碼器之間跳躍連接。

另一方面，本申請(qǐng)實(shí)施例提供了一種視頻目標(biāo)分割方法，所述方法包括：

對(duì)第一樣本支持集中的第一樣本支持圖像進(jìn)行特征提取，得到所述第一樣本支持圖像中第一樣本對(duì)象的第一樣本對(duì)象特征；

對(duì)樣本查詢視頻中的樣本視頻圖像進(jìn)行特征提取，得到所述樣本視頻圖像的樣本視頻圖像特征；

將所述第一樣本對(duì)象特征和所述樣本視頻圖像特征輸入注意力模型，得到樣本注意力特征，所述樣本注意力特征用于表示所述第一樣本支持集作用于所述樣本查詢視頻的注意力，所述注意力模型用于基于所述第一樣本目標(biāo)對(duì)象特征和樣本所述視頻圖像特征，確定第一樣本注意力矩陣和第二樣本注意力矩陣，并基于所述第一樣本注意力矩陣和所述第二樣本注意力矩陣確定所述樣本注意力特征，所述第一樣本注意力矩陣為所述第一樣本支持集與樣本領(lǐng)域代理之間的注意力矩陣，所述第二樣本注意力矩陣為所述樣本查詢視頻與所述樣本領(lǐng)域代理之間的注意力矩陣，所述樣本領(lǐng)域代理為所述樣本查詢視頻中的一幀樣本視頻圖像；