[發明專利]基于適配器互學習模型的訓練及可見光紅外視覺跟蹤方法

有效

• 申請號: 201911128548.3
• 申請日: 2019-11-18
• 公開（公告）號: CN110874590B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 李成龍;錢存;鹿安東;湯進
• 申請（專利權）人: 安徽大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/774;G06V10/143;G06V10/82;G06N3/0464;G06N3/048
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 張景云

1.基于適配器互學習模型的訓練方法的可見光紅外視覺跟蹤方法，其特征在于，所述基于適配器互學習模型的訓練方法，包括以下步驟：

S11、構建網絡模型；所述網絡模型由依次串聯的用于將樣本輸出成不同模態特征圖的多級適配器模塊、Concatenate函數、實例適配器組成，多級適配器模塊輸出不同模態的特征圖并通過Concatenate函數按通道維度的拼接得到一個整體的特征圖，傳遞至實例適配器進行計算；

所述多級適配器模塊分別由依次串聯的第一級適配器模塊、第二級適配器模塊、第三級適配器模塊組成；

所述第一級適配器模塊中包括兩個第一模態適配器、第一通用適配器、兩個適配器互學習模塊，將候選樣本分別送入不同模態相對應的第一模態適配器中、第一通用適配器中，第一通用適配器用于提取模態共享特征，兩個第一模態適配器提取模態特定特征，再分別輸送至兩個適配器互學習模塊中，進行模態間的特征調制，兩個適配器互學習模塊將調制好的特征分別與對應模態的第一通用適配器輸出特征做加法操作，進行特征融合，然后依次傳入第二級適配器模塊、第三級適配器模塊中；

所述第二級適配器模塊包括兩個第二模態適配器、第二通用適配器、兩個適配器互學習模塊；

所述第三級適配器模塊包括兩個第三模態適配器、第三通用適配器、兩個適配器互學習模塊；

且兩個第二模態適配器、第二通用適配器、兩個適配器互學習模塊的傳遞關系；以及兩個第三模態適配器、第三通用適配器、兩個適配器互學習模塊之間的傳遞關系與第一級適配器模塊中傳遞關系相同；

所述第一模態適配器由卷積層、ReLU激活函數、批歸一化層、隨機失活函數層、最大池化層組成；且所述第一模態適配器包括為可見光模態適配器、熱紅外模態適配器；

所述第一通用適配器由卷積層、激活函數ReLU層、局部響應函數LRN層、最大值池化層組成；

所述第二級適配器模塊由第二模態適配器、與第二模態適配器并行的第二通用適配器組成，

所述第二模態適配器由卷積層、ReLU激活函數、批歸一化層、隨機失活函數層、最大池化層組成；所述第二模態適配器包括可見光模態適配器、熱紅外模態適配器；

所述第二通用適配器由卷積層、激活函數ReLU層、局部響應函數LRN層、最大值池化層組成；

所述第三級適配器模塊由第三模態適配器、與第三模態適配器并行的第三通用適配器組成；其中，所述第三模態適配器由卷積層、ReLU激活函數、批歸一化層、隨機失活函數層組成；且所述第三模態適配器包括為可見光模態適配器、熱紅外模態適配器；所述第三通用適配器由卷積層、局部響應函數LRN層組成；

所述實例適配器由帶有Dropout層的兩個全連接層和一個帶由softmax層的全連接層依次串聯所組成；

所述適配器互學習模塊由第一級學習模塊、第二級學習模塊組成，且第一級學習模塊和第二級學習模塊相同，第一級學習模塊包括依次串聯的兩個卷積層、sigmoid激活函數層、特征級的乘操作模塊組成；當特征輸入至第二個卷積層卷積操作后，并將結果傳遞至乘操作模塊處；同時第二個卷積層還與sigmoid激活函數層串聯并將結果傳遞至sigmoid激活函數層處，且所述sigmoid激活函數層進行抑制處理后將結果傳輸至乘操作模塊處，與經過兩次卷積操作的結果進行相乘操作，再與另一個特征進行相乘操作得到一個輸出結果，記為第一輸出結果；

同時輸入第一級學習模塊的特征還同時輸入至第二級學習模塊處，第二級學習模塊包括依次串聯的兩個卷積層、sigmoid激活函數層、特征級的乘操作模塊組成，第二級學習模塊的輸出結果與第一輸出結果進行相加操作；

S12、使用人工標注好的可見光熱紅外數據集來訓練整個網絡模型；

所述步驟S12包括；

S1201、在視頻幀的真值框附近選擇n₁個樣本；n₁個樣本中包括正樣本和負樣本；且n₁為正整數；

S1202、得到的正樣本、負樣本，使用隨機梯度法進行迭代訓練；

基于適配器互學習模型的訓練方法的可見光紅外視覺跟蹤方法包括以下步驟：

S21、輸入當前跟蹤的視頻幀，在前一幀預測的目標位置周圍用高斯采樣獲取當前幀的候選樣本；所述步驟S21包括：

由跟蹤視頻序列的提供的第一幀圖像作為前一幀；由前一幀和框定目標位置區域的真值框，按照高斯分布隨機產生若干個樣本，并進行若干次的迭代訓練，完成網絡模型的初始化；

初始化結束后，把前一幀的目標位置求均值，使用高斯分布采樣，以(0.09r²,0.09r²,0.25)為協方差；產生候選樣本，其中：r為前一幀目標框的寬和高的平均值；

S22、根據候選樣本，預測目標位置；所述步驟S22包括：

將候選樣本分別送入到相對應的第一模態適配器中、第一通用適配器中，依次傳遞至實例適配器中進行計算，在第三全連接層后送入softmax函數得到二分類得分值，分別記為f⁺(xⁱ)和f^-(xⁱ),而再利用公式預測出當前的目標位置，其中，xⁱ表示采樣的第i個樣本，x^*為預測的目標位置，f+(xⁱ)為正樣本得分和f-(xⁱ)為負樣本得分；

S23、判斷當前幀是否跟蹤成功，如果當目標的得分大于零時，判定為跟蹤成功，執行步驟1)；當目標得分小于零時，則判定為跟蹤失敗，執行步驟2)；

所述步驟1)為：其中，在當前幀進行正負樣本采樣保存至總的正負樣本數據集中；

所述步驟2)為：跟蹤失敗時進行短期更新；短期更新包括抽取樣本并微調全連接層的參數；

所述步驟S23還包括長期更新，如不滿足短期更新和長期更新的情況，則直接跟蹤下一幀，模型不更新，直至最后一幀結束；

長期更新為每隔若干幀進行一次，從正負樣本集中抽出樣本并微調全連接層的參數，進行迭代訓練更新。