[發明專利]一種機器人視覺跟蹤方法及其系統

有效

• 申請號: 201810702506.5
• 申請日: 2018-06-30
• 公開（公告）號: CN108875683B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 吳松;歐陽德壽
• 申請（專利權）人: 北京宙心科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06T7/90;G06T7/136
• 代理公司: 北京七夏專利代理事務所(普通合伙) 11632
• 代理人: 劉毓珍

1.一種機器人視覺跟蹤方法，其特征在于，所述方法包括：跟蹤目標框選，首先采用矩形框的形式，在圖像中框選出需要跟蹤的目標，并以矩形框中心點建立坐標位置(x0,y0)；

目標中心點預測，在下一幀圖像中，通過運動預測計算跟蹤目標在坐標系中位置，圖像最大寬度為R，最大高度為C，設第n幀x坐標方向的目標中心坐標為x(n),y方向的坐標位置為y(n)，目標中心點預測根據運動連續性進行線性預測得到第n幀目標中心坐標：x(n)＝x(n-1)±(x(n-1)-x(n-2))y(n)＝y(n-1)±(y(n-1)-y(n-2))可以得到

x(n)∈[max(x(n-1)-(x(n-1)-x(n-2)),0),min(x(n-1)+(x(n-1)-x(n-2)),R-1)]

y(n)∈[max(y(n-1)-(y(n-1)-y(n-2)),0),min(y(n-1)+(y(n-1)-y(n-2)),C-1)]，

不失一般性，可設x(0)＝x(1)＝x0，y(0)＝y(1)＝y0；跟蹤目標檢測，以當前預測的中心點位置，分別沿x和y方向，對跟蹤目標進行檢測；將每個像素的RGB值轉換為HSV值，并逐像素將H、S、V三個分量與上一幀跟蹤目標的H、S、V各分量平均值進行比較，差值小于門限的，判斷為跟蹤目標正項，即該像素屬于跟蹤目標；

目標跟蹤，根據當前幀的跟蹤目標中心點坐標(x(n),y(n))與上一幀跟蹤目標中心點坐標(x(n-1),y(n-1))進行比較，從而得出跟蹤目標在x方向和y方向的移動情況，生成位移命令，通知機器人或攝像頭按相應的位移移動。

2.根據權利要求1所述的一種機器人視覺跟蹤方法，其特征在于：所述跟蹤目標框選后以矩形框建立坐標系，確定框選的跟蹤目標的矩形框高度H和寬度W，并以中心坐標位置為(x0,y0)的當前矩形框位置為標準位置，以當前矩形框的高度H和寬度W為基準尺寸。

3.根據權利要求2所述的一種機器人視覺跟蹤方法，其特征在于：所述跟蹤目標檢測中，最大檢測寬度和高度為圖像寬度和高度，當連續檢測到M個像素不在門限范圍內時，其中M是預設的門限值，則判斷第一個不在門限范圍內的像素為目標輪廓邊緣點。

4.根據權利要求3所述的一種機器人視覺跟蹤方法，其特征在于：通過該方法，將跟蹤目標從背景中分離出來，具體規則如下：

其中Hk，Sk和Vk為同時為1表示像素k屬于跟蹤目標；其中Hn(k),Sn(k),Vn(k)分別為第n幀k像素的H、S、V分量值，分別為n-1幀跟蹤目標HSV顏色空間各分量的均值；Ht,St,Vt分別為預設的門限值。

5.根據權利要求4所述的一種機器人視覺跟蹤方法，其特征在于：所述目標跟蹤具體包括根據檢測出的目標輪廓邊框，獲取第n幀跟蹤目標的矩形框的高度Hn和寬度Wn，并根據Hn和Wn及輪廓邊框在圖像中的坐標位置，重新修正跟蹤目標中心點坐標(x(n),y(n))，確保(x(n),y(n))在實際檢測出的目標輪廓中心。

6.根據權利要求5所述的一種機器人視覺跟蹤方法，其特征在于：所述目標跟蹤還包括將當前幀的跟蹤目標中心點坐標(x(n),y(n))與上一幀跟蹤目標中心點坐標(x(n-1),y(n1))進行比較，從而得出跟蹤目標在x方向和y方向的移動情況，從而得到跟蹤目標當前幀相對于上一幀是左移還是右移，目標是否上移或下移。

7.根據權利要求6所述的一種機器人視覺跟蹤方法，其特征在于：將當前幀跟蹤目標輪廓尺寸Hn和Wn與基準輪廓尺寸H和W進行比較，當輪廓尺寸小于跟蹤目標基準輪廓尺寸時，表明目標向前移動，遠離攝像頭，當當前幀輪廓尺寸大于基準輪廓尺寸時，表明跟蹤目標在向后移動并接近攝像頭。

8.根據權利要求7所述的一種機器人視覺跟蹤方法，其特征在于：所述目標跟蹤還包括將得到的跟蹤目標的運動方向，生成位移命令，通知機器人或攝像頭按相應的位移移動，確保跟蹤目標保持在攝像頭視野中基準位置附近。

9.一種機器人視覺跟蹤系統，其特征在于：包括圖像采集模塊、圖像預處理模塊、目標檢測模塊、目標跟蹤模塊和移動控制模塊；所述圖像采集模塊與所述圖像預處理模塊連接，所述圖像預處理模塊與所述目標檢測模塊連接，所述目標檢測模塊與所述目標跟蹤模塊連接，所述目標跟蹤模塊與所述移動控制模塊連接；

所述圖像采集模塊，用于采集跟蹤目標的圖像，包含攝像頭及圖像處理，圖像采集模塊

按設定的分辨率采集跟蹤目標視頻，并將視頻按幀發送給圖像預處理模塊；

所述圖像預處理模塊，用于將接收到的圖像，從RGB顏色空間轉換為HSV格式；

所述目標檢測模塊，用于完成對跟蹤目標的檢測，直接從背景圖像中提取出跟蹤目標輪廓；

所述目標跟蹤模塊，用于根據目標檢測模塊提取到的跟蹤目標輪廓，與上一幀目標位置及目標基準尺寸進行比較，判斷跟蹤目標運動方向，生成位移指令，并通知移動控制模塊；

所述移動控制模塊，用于根據所述目標跟蹤模塊生成位移指令，控制機器人對所述目

標跟蹤模塊跟蹤的目標進行跟蹤；

通過電機控制攝像頭移動或控制機器人移動，確保跟蹤目標保持在攝像頭視野內，使機器人完成對目標的跟蹤。