[發(fā)明專利]一種目標(biāo)跟隨機(jī)器人及跟隨方法

在審

• 申請?zhí)枺?/td>: 202010005542.3
• 申請日: 2020-01-03
• 公開（公告）號: CN111198496A
• 公開（公告）日: 2020-05-26
• 發(fā)明（設(shè)計）人: 王滔;祝義朋;朱世強(qiáng);徐志偉
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G05B11/42
• 分類號: G05B11/42;G01S13/86
• 代理公司: 杭州浙科專利事務(wù)所(普通合伙) 33213
• 代理人: 孫孟輝

本發(fā)明公開了一種目標(biāo)跟隨機(jī)器人及跟隨方法，所述方法包括如下步驟：步驟一，識別圖像中的目標(biāo)；步驟二，融合圖像識別結(jié)果與雷達(dá)點云信息，得到所述目標(biāo)的雷達(dá)點云信息；步驟三，對抗復(fù)雜環(huán)境下多個同類別目標(biāo)干擾的處理；步驟四，PID算法得到跟隨控制指令；所述機(jī)器人包括：相機(jī)、雷達(dá)、識別模塊、控制模塊、底盤、融合模塊、抗干擾處理模塊，所述相機(jī)與所述識別模塊連接，所述融合模塊分別于所述識別模塊、所述雷達(dá)、所述抗干擾處理模塊連接，所述控制模塊分別與所述抗干擾處理模塊與所述底盤連接。

技術(shù)領(lǐng)域

本發(fā)明涉及智能機(jī)器人領(lǐng)域，尤其是涉及一種目標(biāo)跟隨機(jī)器人及跟隨方法。

背景技術(shù)

目標(biāo)跟隨機(jī)器人在日常生活和工業(yè)制造等領(lǐng)域有廣泛的應(yīng)用需求。例如在生產(chǎn)車間，物流倉庫等環(huán)境下，有自主跟隨功能的機(jī)器人可以跟隨工人完成快捷可靠的搬運(yùn)作業(yè)，提高生產(chǎn)和運(yùn)輸效率，甚至組成多機(jī)器人小隊，逐一跟隨，實現(xiàn)更高難度的要求。在購物中心，機(jī)場車站等場所下，能夠克服干擾保持跟隨的機(jī)器人也可以替人們完成商品、行李的收納和運(yùn)輸。此外還有服務(wù)機(jī)器人，特種作業(yè)機(jī)器人等，也都有不少需要用到目標(biāo)跟隨功能的應(yīng)用場景。

機(jī)器人如果需要保持對目標(biāo)的跟隨，就需要一個能夠提供環(huán)境信息與位置反饋的感知系統(tǒng)。機(jī)器人環(huán)境感知的傳感器中，攝像頭的應(yīng)用最為廣泛。隨著近年來深度學(xué)習(xí)技術(shù)的快速發(fā)展與廣泛應(yīng)用，基于攝像頭圖像信息和神經(jīng)網(wǎng)絡(luò)推斷的感知方案勢頭迅猛，逐步取代傳統(tǒng)圖像處理算法，成為物體識別的主流方法，為機(jī)器人的整體環(huán)境感知能力帶來巨大提升。目前，SSD與YOLO等知名算法，已經(jīng)能夠高速高精確性地實現(xiàn)障礙物識別，得到物體輪廓邊界。

目前已有一些用于機(jī)器人跟隨的方法，如專利(CN201710289168.2)利用RFID標(biāo)簽做定位，專利(CN201710455840.0)使用激光雷達(dá)的點云匹配做行人軌跡跟蹤。專利(CN201610880972.3)利用超聲波進(jìn)行簡單測距，三角定位后輸出目標(biāo)跟隨數(shù)據(jù)。專利(201910602590.8)利用深度圖像的識別處理，經(jīng)過坐標(biāo)系轉(zhuǎn)換調(diào)整參數(shù)控制機(jī)器進(jìn)行運(yùn)動。然而單一傳感器獲得的環(huán)境信息有限，同時也易受到環(huán)境等因素的干擾，魯棒性相比多傳感器融合的方案有所欠缺。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)的不足，實現(xiàn)抗干擾、提高魯棒性的目的，本發(fā)明采用如下的技術(shù)方案：

一種目標(biāo)跟隨方法，包括如下步驟：

步驟一，識別圖像中的目標(biāo)；

利用神經(jīng)網(wǎng)絡(luò)完成目標(biāo)識別，將圖像識別結(jié)果輸出；所述圖像識別結(jié)果包括像素坐標(biāo)、類別信息；

步驟二，融合圖像識別結(jié)果與雷達(dá)點云信息，得到所述目標(biāo)的雷達(dá)點云信息；降低了成本，毫米波雷達(dá)彌補(bǔ)了單目相機(jī)的距離探測能力與抗惡劣天氣能力較弱的劣勢；

(1)轉(zhuǎn)換雷達(dá)點云坐標(biāo)至像素點坐標(biāo)；

雷達(dá)坐標(biāo)系中點云坐標(biāo)(x,y,z)與圖像坐標(biāo)系下對應(yīng)像素點坐標(biāo)(u,v)之間的轉(zhuǎn)換關(guān)系表示如下：

相機(jī)的內(nèi)參矩陣相機(jī)與雷達(dá)間的外參是已知參數(shù)，所述Z_c是所述像素點(u,v)所在成像平面與所述雷達(dá)坐標(biāo)系中點云坐標(biāo)(x,y,z)與之間的垂直距離，所述R是外參矩陣中的旋轉(zhuǎn)部分，所述T是外參矩陣中的平移部分，所述f是相機(jī)焦距，所述(u₀,v₀)表示圖像坐標(biāo)系原點在像素坐標(biāo)系中的坐標(biāo)，所述dx、所述dy分別是每個像素在圖像平面x和y方向上的物理尺寸；

通過合理的外參變換，毫米波雷達(dá)的點云坐標(biāo)系與單目相機(jī)的圖像坐標(biāo)系順利連接起來，使雷達(dá)和相機(jī)的數(shù)據(jù)互相匹配，圖像中的物體就獲得了對應(yīng)的深度信息；

(2)匹配雷達(dá)點云與圖像識別結(jié)果；