[發明專利]一種在動態場景下以深度為主導線索的多目標跟蹤方法

有效

• 申請號: 201210073384.0
• 申請日: 2012-03-19
• 公開（公告）號: CN102622769A
• 公開（公告）日: 2012-08-01
• 發明（設計）人: 王菡子;李弛;唐建宇;呂樂;格雷戈里·海格
• 申請（專利權）人: 廈門大學
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 廈門南強之路專利事務所 35200
• 代理人: 馬應森;劉勇

1.一種在動態場景下以深度為主導線索的多目標跟蹤方法，其特征在于包括以下步驟：

A.從雙目攝像機中獲取當前幀，并且根據相機內外參數對雙目圖像進行校正；

B.然后對圖像進行顏色分割得到顏色塊；

C.結合顏色塊和相對應的左右兩幅圖像對場景進行三維重構，獲得稠密深度圖；

D.在前一幀目標區域的擴大域內對深度信息進行聚類，獲得主要的深度類別；

E.根據步驟D中獲取的主要深度類別對該區域的超級像素進行分類，進行粗略的前景和背景分割；

F.對步驟E中提取的前景根據前一幀所記錄的表觀模型做進一步分割，提取最終的前景；

G.若跟蹤器處于遮擋狀態，則轉入步驟I；若最終所分割前景沒有被遮擋，則返回步驟A，否則跟蹤器記錄前一幀的目標表觀模型，轉入步驟H；

H.提取遮擋原目標的深度塊(遮擋塊)，并將跟蹤器置于遮擋狀態；

I.在當前遮擋塊周圍對原目標進行搜索，若發現原目標，跟蹤器重新被置于正常狀態，則返回步驟A。

2.如權利要求1所述的一種在動態場景下以深度為主導線索的多目標跟蹤方法，其特征在于所述步驟C包括以下子步驟：

C1.利用sobel算子對雙目圖像進行邊緣提取；

C2.將雙目圖像的超級像素集合，邊緣像素集合和雙目圖像所對應的灰度圖輸入置信擴散引擎；

C3.對超級像素內像素之間的深度信息交換賦予較高的信息傳播置信度，而對于不同超級像素間的深度信息交換則賦予較低的信息傳播置信度；

C4.對處于顏色梯度變化較大的邊緣像素在傳播信息給相鄰像素時賦予較低的傳播置信度；

C5.利用置信擴散算法結合子步驟C3和C4中得到的先驗知識對場景進行三維重建，獲取雙目圖像對應的稠密深度圖；

C6.通過在深度圖上的雙向檢測方法找尋遮擋區域，并對遮擋區域進行標記，降低它們本身的深度信息置信度；

C7.結合子步驟C3、C4和C6中得到的先驗知識進行置信傳播，得到最終的稠密深度圖。

3.如權利要求1所述的一種在動態場景下以深度為主導線索的多目標跟蹤方法，其特征在于所述步驟E包括以下子步驟：

E1.對擴大區域內的每一個超級像素計算屬于主要深度類的像素的百分比(前景概率)；

E2.將該區域內的所有前景概率大于設定閾值T，的超級像素進行組合，形成目標前景，40％≤T≤70％。

4.如權利要求1所述的一種在動態場景下以深度為主導線索的多目標跟蹤方法，其特征在于所述步驟F包括以下子步驟：

F1.將步驟E中所獲得的目標前景向X軸方向進行投射，得到X軸方向上的前景分布直方圖；

F2.在子步驟F1中得到的直方圖上尋找局部極小值點的集合，并在相鄰的局部極小值點之間計算質心作為該區間內的軸，由此得到極大值軸的集合；

F3.若局部極小值點比相鄰的極大值軸的a來的大，則就去掉該極小值點，之后，極大值軸和極小值點組成分類軸集合；40％≤a≤60％；

F4.根據空間位置信息將前景中所有的超級像素分類到子步驟F2和F3中獲得的分類軸集合，得到一系列的超級像素群；

F5.根據目標位置空間的連續性假設，將超級像素群在X軸方向上進行排列組合構成一系列的候選前景，計算每一個候選前景與前一幀中的表觀模型相似度(巴氏系數)；

F6.選擇相似度最高的候選前景最為最終的前景。

5.如權利要求1所述的一種在動態場景下以深度為主導線索的多目標跟蹤方法，其特征在于所述步驟G包括以下子步驟：

G1.若跟蹤器處于遮擋狀態，則轉入步驟I；

G2.若前景的深度相較于前一幀的前景深度沒有太大變化，并且該前景的表觀相似度和位置并沒有發生巨變，則返回步驟A，否則轉入子步驟G3；

G3.記錄前一幀目標的表觀模型(前景的顏色和形狀直方圖)。

6.如權利要求1所述的一種在動態場景下以深度為主導線索的多目標跟蹤方法，其特征在于所述步驟H包括以下子步驟：

H1.在前一幀目標位置附近種植深度種子，每一個深度種子的尺度與前一幀目標尺度相同；

H2.在每一個深度種子區域內找尋主要深度類，并根據該類別分割得到深度塊；

H3.選擇最近的并且更接近相機的深度塊(深度值更大)作為遮擋原目標的遮擋塊。

7.如權利要求1所述的一種在動態場景下以深度為主導線索的多目標跟蹤方法，其特征在于所述步驟I包括以下子步驟：

I1.在當前位置隨機種植深度種子，每一個深度種子的尺度與原目標在遮擋前的尺度相同；

I2.在每一個深度種子區域內找尋主要深度類，并根據該類別分割得到深度塊；

I3.選擇與原目標表觀最相近的深度塊，若最佳候選深度塊的與原目標的表觀相似度大于一定閾值R，則認為目標重新出現，置跟蹤器為正常狀態，返回步驟A，0.4≤R≤0.6。