[發明專利]用于跟蹤對象的方法和系統

有效

• 申請號: 201810125036.0
• 申請日: 2018-02-07
• 公開（公告）號: CN108399628B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: D·迪努;M·C·蒙特亞努;A·卡里曼
• 申請（專利權）人: 快圖有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 鄭立柱

一種跨圖像流跟蹤對象的方法包括將流的初始幀傳遞通過包括多個卷積層的第一神經網絡。從第一神經網絡輸出的特征圖被提供給包括至少一個完全連接層的第二多分類器神經網絡，以確定在劃定初始幀中限定給定類別的對象邊界的感興趣區域(ROI)。存儲從第一神經網絡的第一卷積層輸出的與ROI相對應的特征圖，以作為用于第三多層神經網絡的至少第一層神經元的權重。來自流的后續幀被獲取，并且該幀通過使用第一神經網絡被逐ROI掃描，以針對每個ROI從第一卷積層生成相應的特征圖。特征圖被提供給第三多層神經網絡，以提供以下輸出以標識具有與所存儲的特征映射最佳匹配的特征映射的候選ROI，該輸出與用于第一層神經元的權重的特征映射和為候選ROI提供的特征映射之間的匹配水平成比例。所存儲的特征映射權重利用來自最佳匹配候選ROI的權重來更新。

技術領域

本發明涉及一種跨圖像流跟蹤感興趣的對象的方法和系統。

背景技術

Viola-Jones在下文的US?2002/0102024中公開了一種用于檢測感興趣區域(ROI)的方法，該感興趣區域包括諸如所采集的圖像內的臉部的對象，通常為視頻流中的圖像幀。簡而言之，Viola-Jones首先從所采集的圖像中得出積分圖像。該積分圖像的每個元素被計算為圖像中該點的左上角的所有點的強度之和。然后可通過從右下角的子窗口的積分圖像值中減去左上角的子窗口的積分圖像值來得出圖像中的任何子窗口的總強度。可使用來自子窗口的點的積分圖像值的特定組合高效地比較相鄰子窗口的強度。

基于Viola-Jones的對象檢測器通過將分類器應用于積分圖像內的候選子窗口，基于矩形(并且越來越細化)的Haar特征以及積分圖像，使用例如32個預先訓練的分類器鏈(級聯)。為了完成對所采集的圖像中掃描區域的分析，該子窗口跨積分圖像遞增地移動，直到掃描區域被覆蓋。

應當理解，將Viola-Jones分析應用于待檢測的每種尺寸的對象的圖像的每個部分仍然是處理器相當密集的，這可能會阻止系統以足夠快的速度運行，而不能實時檢測和跟蹤圖像流中的對象。

因此，已經開發出這種基本技術的許多改進方案。例如，PCT申請WO2008/018887(參考號：FN-143)公開了一種用于跟蹤圖像流中的臉部的圖像處理裝置，該申請的公開內容以引用方式并入本文。該流的每個所采集的圖像均以指定的分辨率被子采樣，以提供子采樣圖像。將固定尺寸的臉部檢測應用于該積分圖像的至少一部分上，以提供一組候選臉部區域。響應于產生一組候選臉部區域以及任何先前檢測到的候選臉部區域，調整分辨率以對后續所采集的圖像進行子采樣。

于2017年3月30日公開的WO2017/054941(參考號：FN-471-PCT)公開了通過首先確定感興趣區域(ROI)來跨圖像流跟蹤目標。通過以下方法來為ROI提供HOG圖：將ROI劃分為M×N單元的陣列，每個單元包括多個圖像像素；并且為單元中的每個單元確定HOG。HOG圖作為表示對象的特征而被存儲。后續幀從圖像流處獲取。這些幀被逐ROI掃描，以標識候選ROI，其具有最佳匹配所存儲的HOG圖特征的HOG圖特征。如果該匹配滿足閾值，則根據用于最佳匹配候選ROI的HOG圖，來對表示對象特征的所存儲的HOG圖進行更新。

然而，仍然需要一種用于跨圖像流跟蹤一個或多個對象的更有效的機構。

發明內容

根據本公開，提供了一種跟蹤對象的方法。

在另一方面，提供了一種用于跟蹤對象的系統。

本發明的實施方案可提供簡單和硬件友好的對象跟蹤。

在一些實施方案中，使用第一檢測機構在幀序列內的初始幀中自動檢測包含待跟蹤的感興趣對象(目標)的原始ROI。

或者，ROI可通過與應用程序的交互來限定，其中用戶用諸如鼠標的指針或在觸摸屏上限定一個方框。在這種情況下，用戶可與預覽圖像流交互，并且一旦ROI被限定，即可將其被限定所處的幀作為初始幀。