[發明專利]基于孿生網絡的強耦合目標跟蹤方法、裝置、介質及設備

在審

• 申請號: 202110142824.2
• 申請日: 2021-02-02
• 公開（公告）號: CN112966553A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 趙霞;石國強
• 申請（專利權）人: 同濟大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

1.一種基于孿生網絡的強耦合目標跟蹤方法，其特征在于，包括以下步驟：

獲取目標圖像，并從待測視頻中逐幀提取一幀待測圖像；

將所述目標圖像和待測圖像作為預訓練的目標跟蹤模型的輸入，檢測獲得待測圖像的預測目標位置；

其中，所述目標跟蹤模型基于SiamRPN構建，該目標跟蹤模型訓練時，采用聯合優化模塊對分類分支和邊框回歸分支進行訓練，所述聯合優化模塊采用的損失函數包括基于聯合優化的分類損失函數和基于IoU的邊框損失函數。

2.根據權利要求1所述的基于孿生網絡的強耦合目標跟蹤方法，其特征在于，所述基于聯合優化的分類損失函數和基于IoU的邊框損失函數為不相關聯的損失函數。

3.根據權利要求1或2所述的基于孿生網絡的強耦合目標跟蹤方法，其特征在于，所述基于聯合優化的分類損失函數表示為：

其中：pos表示正樣本集合；neg表示負樣本集合；iouⁱ為第i個樣本的預測邊框和真實邊框之間的IoU值；wⁱ(iouⁱ)為以第i個樣本IoU值為自變量的耦合因子，CE(pⁱ，gⁱ)為交叉熵損失函數，即單樣本分類損失，gⁱ和pⁱ分別為樣本i的真實標簽和預測值。

4.根據權利要求3所述的基于孿生網絡的強耦合目標跟蹤方法，其特征在于，所述耦合因子wⁱ(iouⁱ)的計算公式為：

其中：α表示超參；n表示正樣本數量。

5.根據權利要求1或2所述的基于孿生網絡的強耦合目標跟蹤方法，其特征在于，所述基于IoU的邊框損失函數表示為：

L_b＝∑_i∈posw_bⁱ(iouⁱ)∑_{j∈{x，y，w，h}}smooth_L1(d_i[j])

其中：pos表示正樣本集合；iouⁱ為第i個樣本的預測邊框和真實邊框之間的IoU值；w_bⁱ(iouⁱ)為以第i個樣本IoU值為自變量的權重因子，smooth_L1(d_i[j])為smooth L1損失函數，d_i[j]為樣本i的某一邊框預測值與正則化真實值之差，j包括邊框的中心橫縱坐標x和y、邊框的寬w和高h。

6.根據權利要求5所述的基于孿生網絡的強耦合目標跟蹤方法，其特征在于，所述權重因子w_bⁱ(iouⁱ)的計算公式為：

其中：β為超參。

7.根據權利要求1所述的基于孿生網絡的強耦合目標跟蹤方法，其特征在于，根據所述目標跟蹤模型輸出的分類置信響應圖和邊框位置信息確定待測圖像的所述預測目標位置。

8.一種基于孿生網絡的強耦合目標跟蹤裝置，其特征在于，包括：

圖像獲取模塊，用于獲取目標圖像，并從待測視頻中逐幀提取一幀待測圖像；

預測模塊，用于將所述目標圖像和待測圖像作為預訓練的目標跟蹤模型的輸入，檢測獲得待測圖像的預測目標位置；

其中，所述目標跟蹤模型基于SiamRPN構建，該目標跟蹤模型訓練時，采用聯合優化模塊對分類分支和邊框回歸分支進行訓練，所述聯合優化模塊采用的損失函數包括基于聯合優化的分類損失函數和基于IoU的邊框損失函數。

9.一種計算機可讀存儲介質，其特征在于，包括供電子設備的一個或多個處理器執行的一個或多個程序，所述一個或多個程序包括用于執行如權利要求1-7任一所述基于孿生網絡的強耦合目標跟蹤方法的指令。

10.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲器；和

被存儲在存儲器中的一個或多個程序，所述一個或多個程序包括用于執行如權利要求1-7任一所述基于孿生網絡的強耦合目標跟蹤方法的指令。