[發明專利]一種無監督相似性判別學習的目標跟蹤方法

有效

• 申請號: 201910846140.3
• 申請日: 2019-09-09
• 公開（公告）號: CN110569793B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 盧學民;權偉;鄒棟;周寧;張衛華;劉躍平;郭少鵬;彭宇晨;侯思幀;鄭丹陽;郭永成;陳錦雄
• 申請（專利權）人: 西南交通大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06K9/62
• 代理公司: 成都點睛專利代理事務所(普通合伙) 51232
• 代理人: 葛啟函

本發明公開了一種無監督相似性判別學習的目標跟蹤方法，涉及計算機視覺目標跟蹤技術領域。采用t?SNE將特征進行降維和聚類，得到圖像類別偽標簽及類別總數，然后將該偽標簽作為圖像真實標簽，并將圖像特征輸入全連接層并進行分類，網絡進行反向傳播訓練。訓練完成后，網絡具備了圖像相似性判別能力。跟蹤過程中，首先根據第一幀圖像的目標位置，在當前輸入幀對應的目標周圍交并比IOU0.8得到待搜索區域，并使用粒子濾波獲取目標候選塊，再通過無監督相似性特征提取層獲取目標候選塊的特征，最后分類層將輸出每一個目標候選塊的置信度，然后將具有最大置信度的目標候選塊作為目標圖像塊完成目標定位，從而實現對目標對象的跟蹤。

技術領域

本發明涉及計算機視覺，機器學習，目標跟蹤技術領域。

背景技術

目標跟蹤作為計算機視覺領域的一個重要研究方向，目前已受到了廣泛的關注。該技術在安全監控、無人駕駛和軍事防御等領域具有寬廣的應用前景。2013年以來，深度學習方法開始在目標跟蹤領域展露頭腳，并逐漸在性能上超越傳統方法，取得巨大的突破，由于其強大的特征表達能力和強大的數據集和軟硬件支持，深度學習已在許多方面取得了驚人的成功，例如語音識別、圖像識別、目標檢測、視頻分類等。2012年Alex Krizhevsky等提出了基于Alexnet網絡的大型圖像庫分類識別的方法，證明了深度卷積神經網絡對圖像的強大表征能力，2014年Karen Simonyan等提出了基于VGGNet網絡的大型圖像分類識別方法，更進一步的降低了圖像分類識別誤差。

傳統的深度模型有效性來自于海量的有標注訓練數據集，而現實情況下這種海量的有標注的視頻圖像數據集十分匱乏，所以無監督學習逐漸成為機器學習領域的一個熱點。無監督學習也是機器學習和人工智能領域的一個重要分支，其在機器學習、數據挖掘、生物醫學大數據分析、數據科學等領域有著重要地位。無監督學習的作用是在設計分類器時候，用于處理未被分類標記的樣本集，其可以大大減少人工標注帶來的人力、物力的耗費。近年來的基于深度學習方法的目標跟蹤研究中，無論是基于深度學習分類、回歸還是模板匹配方法，都需要使用大量的人工標注圖片用于訓練模型。然而，實際跟蹤場景并沒有大量的真實標注圖片，所以將無監督學習用于目標跟蹤可極大降低人工標注成本，提高目標跟蹤在實際場景中的易用性。無監督學習的最大特點是無需使用真實標簽進行訓練，自動提取數據的共性特征并進行聚類或分類，可運用在目標跟蹤、行為識別和3D重建等計算機視覺領域。常用的無監督學習算法主要有等距映射方法、局部線性嵌入方法、t分布鄰域嵌入(t-SNE)、C-均值算法等，其中t-SNE是2008年Geoffrey Hinton提出的一種可用于非降維的機器學習算法，其可以構建一種高維對象之間的概率分布，使得相似的對象有更高的概率被選擇，而不相似的對象有較低的概率被選擇，從而實現數據的無監督聚類。

鑒于此，網絡在線學習過程中，通過跟蹤收集到的樣本微調網絡模型，從而使網絡模型能夠更加適應實際的圖像序列。

發明內容

本發明的目的是提供一種無監督相似性判別學習的目標跟蹤方法，它能有效地解決在無真實數據標簽場景下，對目標進行快速、魯棒跟蹤的技術問題。

本發明的目的是通過以下技術方案來實現的：

步驟一、目標選取

從初始圖像中選擇并確定要跟蹤的目標對象，目標選取過程通過運動目標檢測方法自動提取或者人機交互方法手動指定；

步驟二、訓練數據集生成

訓練數據集生成分為兩個步驟，首先是數據集的選取，然后是數據集的制作；選取目標跟蹤數據集OTB 2015作為訓練數據集，并從中選取其中一類進行數據集的制作，具體為，在每一個圖像幀中按行和列進行圖像塊的循環移動，移動步長為10個像素，圖像塊尺寸大小為127×127像素，每一幀圖像生成500個循環移動的圖像塊，若訓練數據集共有M張圖像幀，則最終則生成500×M個圖像塊；

步驟三、無監督相似性判別網絡的構建與訓練