[發明專利]一種新型基于孿生卷積網絡的圖像跟蹤算法

在審

• 申請號: 201811591372.0
• 申請日: 2018-12-20
• 公開（公告）號: CN109829934A
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 盛校磷;李凡平;石柱國
• 申請（專利權）人: 北京以薩技術股份有限公司;青島以薩數據技術有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 合肥律眾知識產權代理有限公司 34147
• 代理人: 黃景燕

本發明公開了一種新型基于孿生卷積網絡的圖像跟蹤算法，包括以下步驟：步驟S1，選取孿生卷積網絡的全卷積網絡，選取AlexNet網絡的前五層，進行搭建神經網絡框架，對需要進行跟蹤的目標進行網絡輸入；步驟S2，在所述全卷積結構的基礎上添加RPN層；步驟S3，具體按照算法進行訓練；步驟S4，所述濾波部分負責對目標和跟蹤區域的特征圖根據所述步驟S3的具體算法進行濾波操作獲得輸出響應圖得出結果。本發明在傳統基于孿生卷積網絡的跟蹤算法基礎上加入RPN層，增強了跟蹤算法對目標與背景的區分能力；使用meta?learning原理將傳統目標跟蹤任務轉換為單樣本（one?shot）檢測任務，提高了跟蹤算法的運行效率。

技術領域

本發明屬于深度學習和計算機視覺領域，特別是指一種新型基于孿生卷積網絡的圖像跟蹤算法。

背景技術

目標跟蹤技術是計算機視覺任務中的一個重要分支，被廣泛應用于自動駕駛，視頻監控和機器人等領域。傳統目標跟蹤算法主要依賴于手工標注特征和濾波算法(如KCF，TLD等)，速率較快但是準確率和魯棒性較低，難以滿足實際應用要求。近年來隨著人工智能與深度學習的興起，卷積神經網絡算法逐步進入目標跟蹤領域，并且取得了不俗的表現與成績，其中以孿生卷積網絡為基礎的算法框架憑借其良好得性能表現和簡潔的網絡結構，在近幾年國際計算機視覺頂會以及跟蹤賽事中受到了極大關注。

RPN(regionproposalnetwork)層最早是在目標檢測算法faster-rcnn中提出的，它代替了傳統的候選區域生成算法(如滑動窗口等)，用于生成檢測算法中的候選區域。其特點是運算效率很高沒有冗余計算，能夠產生高質量的候選區域，極大的提升了相關two-stage檢測算法的性能表現。

為進一步提高跟蹤算法對目標與背景的區分能力，同時將傳統跟蹤任務轉換為單樣本學習(one-shot)檢測任務，提高算法推理階段的運算效率，提出一種新型基于孿生卷積網絡的圖像跟蹤算法。

發明內容

鑒于上述技術背景，本發明在傳統孿生卷積網絡的算法基礎上加入RPN層，進一步提高了跟蹤算法對目標與背景的區分能力，同時將傳統跟蹤任務轉換為單樣本學習(one-shot)檢測任務提高了算法推理階段的運算效率。

為了實現上述目的，本發明采用了如下技術方案：

設計一種新型基于孿生卷積網絡的圖像跟蹤算法，包括以下步驟：

步驟S1，選取孿生卷積網絡的全卷積網絡，選取AlexNet網絡的前五層，進行搭建神經網絡框架，對需要進行跟蹤的目標進行網絡輸入；所述網絡輸入由跟蹤目標圖像和跟蹤區域圖像兩部分構成；

步驟S2，在所述全卷積結構的基礎上添加RPN層，所述RPN層由監督學習部分和濾波部分構成，所述監督學習部分由回歸支路和分類支路組成，所述回歸支路為reg支路，所述分類支路為cls支路；將所述全卷積網絡的輸出和分別輸入所述RPN層的cls支路和reg支路并對兩支路輸出進行濾波處理；用數學表達式為：

其中，所述A表示RPN輸出特征圖，所述w表示輸出特征圖的寬，所述h表示輸出特征圖的高，所述k表示anchor數目，所述*表示濾波運算；

由于加入了RPN層，所以使用多任務損失函數作為本算法的損失函數，所述cls支路使用交叉熵作為損失函數，reg支路使用smoothL1loss作為損失函數；

步驟S3，具體按照如下算法進行訓練：

1)：定義Ax,Ay,Aw,Ah表示anchor的中心坐標以及寬高，Tx,Ty,Tw,Th表示地面實況的中心坐標以及寬高。因此歸一化距離可以由下述數學表達式表示：