[發明專利]一種目標跟蹤方法及移動設備

有效

• 申請號: 201710309346.3
• 申請日: 2017-05-04
• 公開（公告）號: CN107066990B
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 徐展;萬鵬飛;張長定;張偉
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06F3/0484
• 代理公司: 北京思睿峰知識產權代理有限公司 11396
• 代理人: 謝建云;趙愛軍

本發明公開了一種目標跟蹤方法，該方法在具備拍照功能的移動設備中執行，包括：根據用戶輸入確定初始幀內的目標位置，其中目標位置表示為一圍繞目標中心的目標框；基于初始幀內的目標位置訓練生成跟蹤器和檢測器，其中跟蹤器適于對拍攝視頻中的目標進行逐幀跟蹤，檢測器適于對拍攝視頻中的目標進行逐幀檢測；對拍攝視頻中后續的每一圖像幀：利用跟蹤器跟蹤得到該圖像幀的目標位置并輸出跟蹤響應值；判斷跟蹤響應值是否大于或等于閾值，若是則繼續下一圖像幀的目標跟蹤；若否則啟動檢測器，利用檢測器輸出對應圖像幀的目標位置；保持檢測器持續運行預定幀數后，切換至跟蹤器繼續進行目標跟蹤。本發明一并公開了相應移動設備。

技術領域

本發明涉及圖像處理技術領域，尤其是一種目標跟蹤方法及移動設備。

背景技術

利用手機等移動設備進行視頻拍攝時，拍攝者往往希望拍攝目標能夠一直保持清晰。為此，需要保證移動設備的攝像頭焦點在拍攝過程中始終對準主體目標。現實中，由于目標無規律運動和不同物體之間的遮擋關系，對目標位置的判斷非常困難，導致在很多情況下，拍攝的主體目標因失焦而變得模糊。

在電影拍攝中，焦點的調節是由有經驗的攝影師手動完成的，這種手動調節方法顯然不適合移動設備上操作簡單的需求。一些現有移動設備采用人臉檢測的方法，能夠識別視頻中的人臉并將焦點定位到相應位置。然而，該方法應用領域非常有限，僅僅對于人臉等特定物體有效果，且時間域上連貫性不足，焦點的變化不夠平滑，會存在抖動現象；另一方面，當視頻中存在多個相同種類物體時，難以確定哪一個才是用戶感興趣的目標。

跟蹤算法為自動對焦提供了一種可行方案。但現有的跟蹤方法在準確性和實時性上都還有待提高。例如，基于相關濾波器的跟蹤算法在目標發生遮擋時容易跟丟目標，基于重檢測的算法在目標發生形變時跟蹤性能欠佳，基于空間約束項或者深度學習的方法在效率和可移植性上難以滿足需求。

發明內容

為此，本發明提供了目標跟蹤方案，以力圖解決或者至少緩解上面存在的至少一個問題。

根據本發明的一個方面，提供了一種目標跟蹤方法，該方法在具備拍照功能的移動設備中執行，包括步驟：根據用戶輸入確定初始幀內的目標位置，其中目標位置表示為一圍繞目標中心的目標框；基于初始幀內的目標位置訓練生成跟蹤器和檢測器，其中跟蹤器適于對拍攝視頻中的目標進行跟蹤，檢測器適于對拍攝視頻中的目標進行檢測；對拍攝視頻中后續的每一圖像幀：利用跟蹤器跟蹤得到該圖像幀的目標位置，并輸出跟蹤響應值；判斷跟蹤響應值是否大于或等于閾值，若是則繼續下一圖像幀的目標跟蹤；若否則啟動檢測器，利用檢測器輸出對應圖像幀的目標位置；以及保持檢測器持續運行預定幀數后，切換至跟蹤器繼續進行目標跟蹤。

可選地，在根據本發明的目標跟蹤方法中，根據用戶輸入確定初始幀內的目標位置的步驟包括：基于用戶輸入的感興趣區域，利用RPN網絡模型輸出當前圖像幀的多個候選目標框；通過Fast R-CNN網絡模型進行識別和位置回歸，輸出每個候選目標框的置信度；以及經過非極大值抑制后，選取置信度最高的候選目標框作為表征初始幀內目標位置的目標框。

可選地，在根據本發明的目標跟蹤方法中，基于初始圖像幀的目標位置訓練生成跟蹤器的步驟包括：使用初始圖像幀的目標框周圍區域的循環矩陣采集樣本；以及采用最小二乘的優化方法輸出跟蹤器的初始跟蹤模板。

可選地，在根據本發明的目標跟蹤方法中，基于初始圖像幀的目標位置訓練生成檢測器的步驟包括：根據初始圖像幀的目標框，按照預定規格的滑動窗口輸出多個采樣框，生成樣本隊列。

可選地，在根據本發明的目標跟蹤方法中，預定規格的滑動窗口為：滑動窗口的初始尺度是原始圖像的10％，搜索步長尺度是相鄰尺度的第一預定倍數或第二預定倍數、且取值區間是[初始尺度的0.1倍,初始尺度的10倍]。