[發明專利]應用于半監督環境中以在圖像幀序列中執行實例跟蹤的機器學習框架

在審

• 申請號: 202210015526.1
• 申請日: 2022-01-07
• 公開（公告）號: CN114792331A
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 劉思飛;Y·付;U·伊克巴爾;莎琳妮·德·梅洛;J·考茨
• 申請（專利權）人: 輝達公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N20/00;G06N3/08;G06N3/04;G06K9/62;G06V10/764;G06V10/774;G06V10/74;G06V10/82
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉

1.一種用于在視頻幀序列內跟蹤實例的方法，所述方法包括：

由骨干網絡處理圖像幀以生成一組特征圖；

由一個或更多個預測頭處理該組特征圖，其中所述一個或更多個預測頭包括嵌入頭，所述嵌入頭被配置為生成與在所述圖像幀中識別出的對象的一個或更多個實例相對應的一組嵌入特征；以及

分析與所述視頻幀序列的兩個或更多個圖像幀中的一組實例相對應的所述嵌入特征，以在不同的圖像幀中的實例之間建立一對一的相關性。

2.如權利要求1所述的方法，其中所述一個或更多個預測頭還包括：

分類頭，其被配置為預測所述圖像中多個對象類中的每個對象類的零個或更多個實例的位置；以及

掩模頭，其被配置為預測所述圖像中每個實例的像素級分割掩模。

3.如權利要求1所述的方法，其中所述嵌入頭包括關鍵點嵌入頭，所述關鍵點嵌入頭包括編碼器-解碼器結構，其中所述編碼器-解碼器結構包括編碼器和解碼器，所述編碼器包括卷積層，所述解碼器包括解卷積層。

4.如權利要求3所述的方法，其中所述一個或更多個預測頭包括分類頭和形狀回歸頭，所述形狀回歸頭被配置為基于多個關鍵點估計每個實例的姿態估計。

5.如權利要求1所述的方法，其中所述骨干網絡包括特征金字塔網絡，并且其中該組特征圖包括不同空間分辨率的多個特征圖。

6.如權利要求1所述的方法，還包括：使用一組帶注釋的圖像幀和/或多個未標記的視頻幀序列來訓練所述一個或更多個預測頭。

7.如權利要求6所述的方法，其中訓練所述嵌入頭包括：最小化實例對比損失項。

8.如權利要求7所述的方法，其中訓練所述嵌入頭還包括：對相似性矩陣強制執行最大熵正則化。

9.如權利要求6所述的方法，其中訓練所述嵌入頭包括：最小化基于對應于視頻幀序列的前向親和矩陣和反向親和矩陣計算的循環損失項。

10.一種用于在視頻幀序列內跟蹤實例的系統，包括：

非暫時性計算機可讀存儲器；和

至少一個處理器，其被配置為實現多個神經網絡，所述多個神經網絡包括：

骨干網絡，其被配置為處理圖像幀并生成一組特征圖；以及

一個或更多個預測頭，其被配置為處理由所述骨干網絡生成的該組特征圖，其中所述一個或更多個預測頭包括嵌入頭，所述嵌入頭被配置為生成與在所述圖像幀中識別出的對象的一個或更多個實例相對應的一組嵌入特征。

11.如權利要求10所述的系統，其中所述一個或更多個預測頭還包括：

分類頭，其被配置為預測所述圖像中多個對象類中的每個對象類的零個或更多個實例的位置；以及

掩模頭，其被配置為預測所述圖像中每個實例的像素級分割掩模。

12.如權利要求10所述的系統，其中所述嵌入頭包括關鍵點嵌入頭，所述關鍵點嵌入頭包括編碼器-解碼器結構，其中所述編碼器-解碼器結構包括編碼器和解碼器，所述編碼器包括卷積層，所述解碼器包括解卷積層。

13.如權利要求12所述的系統，其中所述一個或更多個預測頭包括分類頭和形狀回歸頭，所述形狀回歸頭被配置為基于多個關鍵點估計每個實例的姿態估計。

14.如權利要求10所述的系統，其中所述骨干網絡包括特征金字塔網絡，并且其中該組特征圖包括不同空間分辨率的多個特征圖。

15.如權利要求10所述的系統，其中所述一個或更多個預測頭使用一組帶注釋的圖像和多個未標記的視頻幀序列進行訓練。