[發明專利]一種基于單目視覺的人體目標跟隨方法

有效

• 申請號: 202010089860.2
• 申請日: 2020-02-13
• 公開（公告）號: CN111308993B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 紀剛;楊豐拓;安帥;朱慧
• 申請（專利權）人: 青島聯合創智科技有限公司
• 主分類號: G05D1/00
• 分類號: G05D1/00;G05D1/12;G05B11/42;G06V40/10;G06V20/10;G06V10/62;G06T7/223
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 劉娜

1.一種基于單目視覺的人體目標跟隨方法，其特征在于，包括如下步驟：

步驟一，語音控制啟動單目視覺機器人的跟隨系統，開啟機器人的跟隨功能；

步驟二，檢測正前方目標，使用人體識別算法檢測機器人正前方的多個人體目標；

步驟三，選定待跟隨目標，在獲取的多個人體檢測框中選擇最符合要求的人體目標作為待跟隨目標；

步驟四，設置跟蹤器狀態，使用主跟蹤器和輔助跟蹤器相結合的方式獲取待跟隨目標的跟蹤信息；

步驟五，運動跟隨控制，根據目標信息與跟隨信息之間的關系設置相應的跟隨策略；

步驟六，更新跟隨目標信息，將當前時刻的跟蹤信息作為后一時刻的目標信息，實現連續跟蹤；

所述步驟二的具體方法如下：

(1)使用人體識別算法獲取人體目標檢測框

機器人發布語音并使用單目相機對正前方進行拍攝，對拍攝的每一幀進行檢測，提取其中的每個人體的姿態信息構建矩形人體目標檢測框，檢測框的左上角坐標為(x,y)，檢測框的寬和高分別為w和h；

(2)剔除錯誤的檢測框

單目相機拍攝的圖像的寬為W，高為H，依據檢測框在拍攝的圖片中的相對大小來剔除錯誤的檢測框，初步篩選人體目標檢測框；

所述步驟三的具體方法如下：

在眾多矩形檢測框中選擇面積較大且中心坐標靠近圖像中心坐標的目標檢測框，對每個矩形檢測框計算一個得分S：

其中，σ₂為自定義系數，

選定得分S最高的矩形檢測框為待跟隨目標；

檢測待跟隨目標是否在機器人的正前方，當時，發布語音提醒目標移動到中心位置，記錄待跟蹤目標的矩形框信息；

所述步驟五的具體方法如下：

(1)近距離檢測

當跟蹤框的高h_r與最開始人體檢測算法檢測出的矩形框的高度相差小于設定闕值時，設置機器人狀態為與跟隨目標較近，機器人不向前運動；

(2)正常跟蹤

機器人的旋轉運動的轉速rw計算如下：

其中，W為圖像的寬度，σ₁為自定義參數，rw_max為預設的最大旋轉角速度；

機器人的線速度lv計算公式為：

其中，W為圖像的寬度，σ₂為自定義參數，lv_max為預設的最大線速度；

當跟蹤框的高度h_r與目標框的高度h小于微小移動閾值時，僅計算機器人的旋轉角速度，并計算PID控制器參數；

當跟蹤框的高度h_r與目標框的高度h大于微小移動閾值時，同時計算機器人的旋轉角速度和位移線速度，并計算PID控制器參數；

(3)丟失找回

當跟蹤框的左上頂點的橫坐標x_r＜k₁或則判定當前狀態為丟失，此時將機器人運動狀態調整為純旋轉狀態，并計算PID控制器參數，若大于方向控制閾值thr_p，則將角速度設置為逆時針旋轉，若小于方向控制閾值如thr_n，則將角速度設置為順時針旋轉，此時機器人旋轉找回跟隨目標。

2.根據權利要求1所述的一種基于單目視覺的人體目標跟隨方法，其特征在于，只保留矩形框寬度w大于且小于的人體目標檢測框。

3.根據權利要求1所述的一種基于單目視覺的人體目標跟隨方法，其特征在于，所述步驟四的具體方法如下：

使用主跟蹤器MEDIANFLOW與穩定防丟失的輔助跟蹤器MOSSE相結合，實現人體跟蹤功能；

(1)跟蹤狀態檢測

在更新的圖像幀中檢測跟蹤目標，當在更新的圖像幀中找到跟蹤目標，則設置跟蹤狀態為true，并繪制跟蹤框；

(2)繪制跟蹤框

在新一幅圖像幀F上繪制跟蹤框r，主跟蹤器對應于主跟蹤框r_m，輔助跟蹤器對應于輔助跟蹤框r_a；在更新的圖像幀上只繪制一個跟蹤框，當主跟蹤器可用的情況下使用主跟蹤框r_m，當主跟蹤器不可用的情況下，使用輔助跟蹤框r_a；

(3)檢測錯誤跟蹤信息，并重置跟蹤器

將待跟蹤目標的前一時刻信息與跟蹤器計算出的當前信息相對比，判定跟蹤狀態；前一時刻的信息表現在圖像上為目標框，當前時刻跟蹤到的信息表現為跟蹤框；目標框的左上頂點在圖像中的坐標為(x,y)，且寬為w，高為h，目標框的中心點坐標為使用跟蹤器繪制目標運動后的跟蹤框的左上頂點在圖像中的坐標為(x_r,y_r)，且寬為w_r，高為h_r，跟蹤框的中心點坐標為

計算目標框中心點與跟蹤框中心點之間的距離D：

當時，認為跟蹤器跟蹤出錯，需重置跟蹤器。