[發明專利]視頻目標分割方法、裝置、設備及介質

在審

• 申請號: 202110592660.3
• 申請日: 2021-05-28
• 公開（公告）號: CN113763385A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 何盛烽;陳浩鑫;孫子荀;鄧大付;王巨宏
• 申請（專利權）人: 華南理工大學;騰訊科技（深圳）有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

1.一種視頻目標分割方法，其特征在于，所述方法包括：

對支持集中的支持圖像進行特征提取，得到所述支持圖像中目標對象的目標對象特征；

對查詢視頻中的視頻圖像進行特征提取，得到所述視頻圖像的視頻圖像特征；

基于所述目標對象特征和所述視頻圖像特征，確定第一注意力矩陣和第二注意力矩陣，所述第一注意力矩陣為所述支持集與領域代理之間的注意力矩陣，所述第二注意力矩陣為所述查詢視頻與所述領域代理之間的注意力矩陣，所述領域代理為所述查詢視頻中的一幀視頻圖像；

基于所述第一注意力矩陣和所述第二注意力矩陣，確定目標注意力特征，所述目標注意力特征用于表示所述支持集作用于所述查詢視頻的注意力；

基于所述目標注意力特征進行目標分割，得到目標分割結果，所述目標分割結果用于表征所述目標對象在各幀所述視頻圖像中的位置。

2.根據權利要求1所述的方法，其特征在于，所述基于所述目標對象特征和所述視頻圖像特征，確定第一注意力矩陣和第二注意力矩陣，包括：

通過第一卷積層將所述目標對象特征映射為第一鍵值對特征，所述第一鍵值對特征中由第一鍵特征和第一值特征構成；

通過第二卷積層將所述視頻圖像特征映射為查詢特征和第二鍵值對特征，所述第二鍵值對特征由第二鍵特征和第二值特征構成；

基于所述第一鍵值對特征和所述查詢特征，生成所述第一注意力矩陣；

基于所述查詢特征和所述第二鍵值對特征，生成所述第二注意力矩陣。

3.根據權利要求2所述的方法，其特征在于，所述基于所述第一鍵值對特征和所述查詢特征，生成所述第一注意力矩陣，包括：

對所述查詢特征進行特征采樣，得到所述領域代理對應的代理查詢特征；

基于所述代理查詢特征與所述第一鍵特征的點乘結果，生成所述第一注意力矩陣。

4.根據權利要求2所述的方法，其特征在于，所述基于所述查詢特征和所述第二鍵值對特征，生成所述第二注意力矩陣，包括：

對所述第二鍵特征進行特征采樣，得到所述領域代理對應的代理鍵特征；

基于所述代理鍵特征與所述查詢特征的點乘結果，生成所述第二注意力矩陣。

5.根據權利要求2所述的方法，其特征在于，所述基于所述第一注意力矩陣和所述第二注意力矩陣，確定目標注意力特征，包括：

基于所述第一注意力矩陣、所述第二注意力矩陣以及所述第一值特征的矩陣乘積結果，得到所述目標注意力特征。

6.根據權利要求2至5任一所述的方法，其特征在于，所述基于所述目標注意力特征進行目標分割，得到目標分割結果，包括：

對所述目標注意力特征和所述第二值特征進行特征拼接，得到所述查詢視頻的目標特征；

通過解碼器對所述目標特征進行上采樣和卷積處理，得到各幀所述視頻圖像對應的分割掩膜，所述分割掩膜為二值掩膜，且所述分割掩膜中的像素值用于表征對應的像素點是否屬于所述目標對象。

7.根據權利要求1至5任一所述的方法，其特征在于，所述對支持集中的支持圖像進行特征提取，得到所述支持圖像中目標對象的目標對象特征，包括：

通過編碼器對所述支持集中的所述支持圖像進行特征提取，得到所述支持圖像的支持圖像特征；

基于所述支持圖像特征以及所述支持圖像對應的標注掩膜，得到所述目標對象的所述目標對象特征，所述標注掩膜用于表示所述支持圖像中所述目標對象所處的位置。