[發明專利]基于卷積神經網絡的多尺度表達的目標跟蹤方法

有效

• 申請號: 201611201895.0
• 申請日: 2016-12-23
• 公開（公告）號: CN106651915B
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 唐爽碩;王凡;胡小鵬
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 李曉亮;趙連明

1.一種基于卷積神經網絡的多尺度表達的目標跟蹤方法，其特征在于以下步驟：

第一步，多尺度卷積神經網絡模型預訓練

對圖像做拉普拉斯變換，構建圖像的金字塔空間，提取拉普拉斯金字塔的三種尺度下的圖像作為網絡模型的輸入；利用Lasagne深度學習框架搭建多尺度卷積神經網絡模型，構成網絡模型池；每一個網絡模型包括三個卷積層，兩個全連接層以及一個softmax層；同時采用VGG-net的淺層結構初始化網絡參數；

在預訓練過程中，跟蹤數據集，并不斷優化網絡參數；每種尺度圖像分別對應粗尺度網絡、中間尺度網絡和精細尺度網絡；不同尺度間網絡共享參數，尺度由粗到細進行訓練；

針對不同類別視頻集構建不同的網絡，用于獲取不同類別物體信息；網絡間除最后一層外共享網絡參數迭代訓練，用于捕獲不同類別物體的共性特征；在訓練過程中，采用交叉熵作為損失函數L，其定義形式為：

L＝-∑_it_ilog(p_i) (1)

其中，t_i為第i個圖像塊的真實標記，即目標或者背景；p_i為第i個圖像塊的預測概率；

在訓練過程中使用梯度下降法SGD不斷優化網絡參數，直到所有樣本得到充分訓練，最后保留三種尺度的網絡參數，得到預訓練好的多尺度卷積神經網絡模型；

第二步，利用多尺度特征表達構建多示例分類器

移除預訓練好的多尺度卷積模型的最后一層，重新添加一個隨機初始化的softmax層，利用圖像第一幀給定的目標對網絡參數進行微調；然后從三種尺度的網絡中分別提取卷積三層的特征圖作為卷積特征；同時提取精細尺度網絡的卷積二層的特征共同組成外觀模型的多尺度表達；采用最大池化對卷積二層特征圖進行降維，減小特征的數據維度；將所有卷積特征連接構成目標的多尺度外觀模型；

將得到的卷積特征作為特征池，利用多示例學習算法學習一個二分類器；采用增強學習的方式，最大化目標函數即對數似然函數，依次選擇k個弱分類器，并將各個弱分類器加權求和，構建多示例分類器；

第三步，改進多示例在線跟蹤

在多示例學習算法中，每個示例的似然概率表示為：

p(y|x)＝σ(H(x)) (2)

其中，x為圖像的特征空間表達，y為一個二分變量，用于指示圖像中是否存在目標，H(x)為多個弱分類組成的強分類器，σ(x)為Sigmoid函數，即

在Sigmoid函數中引入一個懲罰因子減緩函數飽和，改進后的Sigmoid函數為：

其中，k為組成強分類器的弱分類器個數；

第四步，在跟蹤過程中，采用多步差模型更新多尺度卷積神經網絡模型

對于粗尺度網絡模型，采用快更新的方式來更新網絡模型參數，以及時適應模型的外觀變化；對于精細尺度網絡模型，采用慢更新的方式更新網絡模型參數，避免模型改變引入的誤差噪音和錯誤更新；對于中間尺度網絡模型，更新頻率介于二者之間；通過這種方式，使得模型能夠及時適應目標的外觀變化，同時能夠抵制錯誤跟蹤對模型更新的影響；

當有新的一幀圖像輸入時，在上一幀目標位置的周圍選取n個候選目標框{x₁，...，x_n}，根據p(y|x)＝σ(H(x))，選擇似然概率的最大響應位置為此幀的目標結果，如公式(5)所示：