[發明專利]用于CNN網絡適配和對象在線追蹤的方法和系統

有效

• 申請號: 201680080165.1
• 申請日: 2016-02-02
• 公開（公告）號: CN108701210B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 王曉剛;王立君;歐陽萬里;盧湖川
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;王艷春

1.一種用于使預訓練的卷積神經網絡適配目標視頻的方法，包括：

將第一特征圖轉換為多個子特征圖，其中所述第一特征圖由所述預訓練的卷積神經網絡根據所述目標視頻的幀而生成；

將每個所述子特征圖分別與多個適配卷積核中的一個適配卷積核進行卷積，以輸出具有改善的適配性的多個第二特征圖；以及

逐幀訓練所述多個適配卷積核。

2.根據權利要求1所述的方法，其中所述轉換和所述卷積在適配卷積神經網絡中實施，所述適配卷積神經網絡包括：

第一卷積層，鏈接到所述預訓練的卷積神經網絡且用于將所述第一特征圖轉換為所述多個子特征圖；以及

第二卷積層，鏈接到所述第一卷積層且用于將每個所述子特征圖分別與所述多個適配卷積核中的一個適配卷積核進行卷積。

3.根據權利要求2所述的方法，其中所述訓練包括：

將第一訓練樣本正向饋送經過所述預訓練的卷積神經網絡和所述適配卷積神經網絡以生成第一輸出圖像，其中所述第一訓練樣本根據所述目標視頻的第一幀而獲得；

將所生成的第一輸出圖像與從所述第一幀推導出的第一真值進行比較以獲得分別用于所述多個適配卷積核的多個第一訓練誤差；

將所述多個第一訓練誤差反復地反向傳播經過所述預訓練的卷積神經網絡和所述適配卷積神經網絡以訓練所述多個適配卷積核，直到所述多個第一訓練誤差收斂，其中，獲得分別用于經訓練的多個適配卷積核的多個參數；

將所獲得的多個參數中具有最小第一訓練誤差的參數與所獲得的多個參數中的其余參數分別分組到集成集和候選集中；以及

根據所述目標視頻的后續幀優化被分組到所述候選集中的參數。

4.根據權利要求3所述的方法，其中所述優化包括：

將第二訓練樣本正向饋送經過所述預訓練的卷積神經網絡和所述適配卷積神經網絡以生成第二輸出圖像，其中所述第二訓練樣本根據所述目標視頻的第二幀而獲得，且所述第二幀在所述第一幀之后；

將所述第二輸出圖像與從所述第二幀推導出的第二真值進行比較以獲得用于所述多個適配卷積核的多個第二訓練誤差；以及

如果任一第二訓練誤差高于閾值，則執行以下操作：

將所述第二訓練誤差反向傳播經過所述預訓練的卷積神經網絡和所述適配卷積神經網絡以進一步優化所述候選集中的參數；以及

將被進一步優化的參數中的至少一個參數傳送到所述集成集中。

5.根據權利要求1所述的方法，其中每個所述適配卷積核在不同損失準則下訓練。

6.根據權利要求2所述的方法，其中所述方法還包括：

通過掩碼層降低所述多個子特征圖之間的關聯性，其中所述掩碼層鏈接到所述適配卷積神經網絡的所述第二卷積層。

7.根據權利要求6所述的方法，其中所述掩碼層包括多個二進制掩碼，每個二進制掩碼與一個子特征圖進行卷積且與被卷積的子特征圖具有相同的空間尺寸。

8.一種用于對象在線追蹤的方法，包括：

確定目標視頻的第一幀中的關注區域；

將所確定的關注區域正向饋送經過預訓練的卷積神經網絡以提取其初始特征圖；

利用所述初始特征圖初始化用于檢測所述對象的位置的適配卷積神經網絡和用于限定所述對象的比例的比例估計網絡；

利用經初始化的適配卷積神經網絡預測所述對象在所述目標視頻的第二幀中的第二位置，其中所述第二幀在所述第一幀之后；

利用經初始化的比例估計網絡估計所述對象在所述目標視頻的所述第二幀中的第二比例；

利用在所述預測和所述估計中獲取的經優化的網絡參數分別更新所述適配卷積神經網絡和所述比例估計網絡；

利用經更新的適配卷積神經網絡預測所述對象在所述目標視頻的第三幀中的第三位置，其中所述第三幀在所述第二幀之后；以及

利用經更新的比例估計網絡估計所述對象在所述目標視頻的所述第三幀中的第三比例。