[發(fā)明專利]基于RGBD相機的目標跟隨方法、系統(tǒng)、裝置

在審

• 申請?zhí)枺?/td>: 202010090067.4
• 申請日: 2020-02-13
• 公開（公告）號: CN111325770A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計）人: 陳艷紅;崔曉光;張吉祥
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/00;G06K9/32;G06K9/34;G06K9/62
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發(fā)明屬于機器人領(lǐng)域，具體涉及一種基于RGBD相機的目標跟隨方法、系統(tǒng)、裝置，旨在解決現(xiàn)有目標跟隨方法跟隨實時性、準確性較差的問題。本系統(tǒng)方法包括：獲取深度圖像；提取深度圖像的感興趣區(qū)域；篩選包含人體的感興趣區(qū)域；計算篩選后各感興趣區(qū)域與上一幀待跟隨目標的距離，若大于設(shè)定的目標移動半徑，則移除；計算移除后各感興趣區(qū)域的顏色直方圖與預(yù)保存的待跟隨目標的顏色直方圖的相似度，若大于設(shè)定閾值，則作為可能候選區(qū)域，并將相似度最大的可能候選區(qū)域作為目標區(qū)域；基于目標區(qū)域的中心點坐標，計算移動設(shè)備的移動速度，控制其向目標移動。本發(fā)明提高了目標跟隨的實時性和準確性。

技術(shù)領(lǐng)域

本發(fā)明屬于機器人領(lǐng)域，具體涉及一種基于RGBD相機的目標跟隨方法、系統(tǒng)、裝置。

背景技術(shù)

采用智能化技術(shù)的機器人產(chǎn)品為人們的生活和生產(chǎn)作業(yè)都帶來了有益的促進效果，在高鐵站候車廳、機場候車廳等乘客攜帶大件行李出行的場合，可以承載行李、自動行走的智能移動裝置可以減輕乘客出行的勞累和不便，智能跟隨機器人可以提供這種服務(wù)。

智能跟隨機器人需要解決的核心問題屬于目標跟蹤問題領(lǐng)域，與傳統(tǒng)的監(jiān)控類目標跟蹤不同，除了需要實時在圖像上跟蹤目標區(qū)域外，跟隨機器人還需要知道目標的物理位置以指導(dǎo)機器人移動。已有的基于視覺的跟蹤方法首先在圖像上檢測出目標位置，然后再通過其他手段解算目標的物理位置。由于目標是動態(tài)移動的，目標在圖像上的區(qū)域也是不斷變化的，通常的解決手段是在上一幀圖像中目標附近選擇一定數(shù)量不同大小、不同位置的候選矩形框，將這些候選矩形框與目標模型比對以確定新的目標位置。候選矩形框的選擇具有試探性和盲目性，候選矩形框數(shù)量過多會降低算法實時性，數(shù)量過少則可能框選不到目標，范圍過大會導(dǎo)致帶入太多環(huán)境信息造成模型漂移，范圍過小則涵蓋目標區(qū)域太少導(dǎo)致模型柔性差。

本發(fā)明的目的是提供一種基于RGBD相機的目標跟隨方法、系統(tǒng)、裝置，以解決目前機器人跟隨應(yīng)用中的問題。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決現(xiàn)有基于視覺手段的目標跟隨(跟蹤)方法在目標跟隨過程中盲目、試探的獲取與更新目標候選矩形框，造成跟隨實時性、準確性較差的問題，本發(fā)明第一方面，提出了一種基于RGBD相機的目標跟隨方法，該方法包括：

步驟S100，通過設(shè)置于移動設(shè)備上的RGBD相機獲取周圍環(huán)境的深度圖像，作為輸入圖像；

步驟S200，提取所述輸入圖像的感興趣區(qū)域，構(gòu)建感興趣區(qū)域集合，作為第一集合；

步驟S300，篩選所述第一集合中包含人體的感興趣區(qū)域，構(gòu)建第二集合；

步驟S400，計算所述第二集合中各感興趣區(qū)域的中心點坐標與上一幀待追隨目標的坐標的距離，若其大于設(shè)定的目標移動半徑，則移除對應(yīng)的感興趣區(qū)域，得到第三集合；

步驟S500，計算所述第三集合中各感興趣區(qū)域?qū)?yīng)的顏色直方圖與預(yù)保存的待跟隨目標的顏色直方圖的相似度，若所述相似度大于設(shè)定閾值，則作為可能候選區(qū)域，并將相似度最大的可能候選區(qū)域作為目標區(qū)域，更新目標坐標及其對應(yīng)的顏色直方圖；

步驟S600，根據(jù)所述目標區(qū)域的中心點坐標，通過雙閾值方法計算移動設(shè)備的移動速度，并控制移動設(shè)備向目標移動；移動后，跳轉(zhuǎn)步驟S100，直至跟隨任務(wù)結(jié)束。

在一些優(yōu)選的實施方式中，在移動設(shè)備開始跟隨待跟隨目標之前，還包括獲取待跟隨目標的步驟：

步驟A100，基于步驟S100-步驟S200中的方法，獲取第一感興趣區(qū)域集合；

步驟A200，計算所述第一感興趣區(qū)域集合中各感興趣區(qū)域的寬、高、中心點坐標、距離平均值，根據(jù)所述寬、高與設(shè)定人體的身高、肩寬范圍的比對，對各感興趣區(qū)域進行篩選，得到第二感興趣區(qū)域集合；所述距離平均值為感興趣區(qū)域中各像素點深度距離的平均值；