[發明專利]神經網絡模型的訓練方法、裝置和圖像處理系統

在審

• 申請號: 202010025616.X
• 申請日: 2020-01-10
• 公開（公告）號: CN113111684A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 楊林杰;劉鼎;方晨;李鯤鵬
• 申請（專利權）人: 字節跳動有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/34;G06N3/04
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

1.一種用于圖像處理的神經網絡模型的訓練方法，所述訓練方法包括：

獲取當前視頻幀和目標模板，所述目標模板以邊界框的方式定位與所述當前視頻幀中的目標對象相同或相似的對象；

基于所述當前視頻幀和所述目標模板，獲取所述目標對象的像素級偽標簽；

基于所述當前視頻幀和所述目標模板，獲取所述目標對象的分割掩碼，所述像素級偽標簽和分割掩碼用于標注所述當前視頻幀中的目標對象；

基于所述像素級偽標簽和所述分割掩碼，獲取損失函數，并利用所述損失函數訓練所述神經網絡。

2.根據權利要求1所述的訓練方法，其中，所述基于所述當前視頻幀和所述目標模板，獲取所述目標對象的像素級偽標簽包括：

基于所述當前視頻幀和所述目標模板，獲取所述目標對象的注意力圖；以及

細化所述注意力圖以獲得所述目標對象的像素級偽標簽，

其中，所述注意力圖用于定位所述目標對象。

3.根據權利要求2所述的訓練方法，其中，所述神經網絡包括第一子網絡和第二子網絡，所述第一子網絡和第二子網絡共享權重系數，

其中，所述基于所述當前視頻幀和所述目標模板，獲取所述目標對象的注意力圖包括：

基于第二子網絡和所述當前視頻幀，獲取第二特征；

基于所述第一子網絡和第二子網絡的權重系數和所述第二特征獲取所述注意力圖。

4.根據權利要求3所述的訓練方法，其中，所述權重系數基于前景分類結果和所述第二特征獲得，所述前景分類結果是基于第一特征和所述第二特征的相關圖獲得的，所述第一特征是基于第一子網絡和所述目標模板獲得的。

5.根據權利要求4所述的訓練方法，其中，所述分割掩碼是基于第一特征和所述第二特征的相關圖和所述第二子網絡不同層的輸出的集合獲取的。

6.一種利用神經網絡模型的圖像處理方法，包括：

接收待處理的圖像；

利用所述神經網絡模型對所述待處理的圖像執行特征提取處理；以及

基于提取的特征，輸出處理結果，

其中，所利用如權利要求1-5中任一項所述的神經網絡模型的訓練方法，獲得所述神經網絡模型。

7.一種用于圖像處理的神經網絡模型的訓練裝置，包括：

當前視頻幀和目標模板獲取單元，用于獲取當前視頻幀和目標模板，所述目標模板以邊界框的方式定位與所述當前視頻幀中的目標對象相同或相似的對象；

像素級偽標簽獲取單元，用于基于所述當前視頻幀和所述目標模板，獲取所述目標對象的像素級偽標簽；

分割掩碼獲取單元，用于基于所述當前視頻幀和所述目標模板，獲取所述目標對象的分割掩碼，所述像素級偽標簽和分割掩碼用于標注所述當前視頻幀中的目標對象；

訓練單元，用于基于所述像素級偽標簽和所述分割掩碼，獲取損失函數，并基于損失函數訓練所述神經網絡。

8.根據權利要求7所述的訓練裝置，其中，

所述像素級偽標簽獲取單元基于所述當前視頻幀和所述目標模板，獲取所述目標對象的注意力圖；以及

細化所述注意力圖以獲得所述目標對象的像素級偽標簽，

其中，所述注意力圖用于定位所述目標對象。

9.根據權利要求8所述的訓練裝置，其中，所述神經網絡包括第一子網絡和第二子網絡，所述第一子網絡和第二子網絡共享權重系數，

所述像素級偽標簽獲取單元基于所述當前視頻幀和所述目標模板，獲取所述目標對象的注意力圖包括：

基于第二子網絡和所述當前視頻幀，獲取第二特征；

基于所述第一子網絡和第二子網絡的權重系數和所述第二特征獲取所述注意力圖。

10.根據權利要求9所述的訓練裝置，其中，所述權重系數基于前景分類結果和所述第二特征獲得，所述前景分類結果是基于第一特征和所述第二特征的相關圖獲得的，所述第一特征是基于第一子網絡和所述目標模板獲得的。