[發(fā)明專利]一種移動(dòng)機(jī)器人單目視覺跟隨系統(tǒng)及跟隨方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911358622.0
• 申請(qǐng)日: 2019-12-25
• 公開（公告）號(hào): CN111028267B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 呂培;蔣帥;周兵
• 申請(qǐng)（專利權(quán)）人: 鄭州大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06V40/10;G06V20/40;G06V10/62;G06V10/82;G06V10/94;G05D1/02
• 代理公司: 廣東君龍律師事務(wù)所 44470
• 代理人: 金永剛

本發(fā)明公開了一種移動(dòng)機(jī)器人單目視覺跟隨系統(tǒng)及跟隨方法。該跟隨系統(tǒng)包括搭載在輪式移動(dòng)平臺(tái)上的單目攝像機(jī)和筆記本電腦，以及與筆記本電腦同處于一個(gè)無(wú)線局域網(wǎng)內(nèi)且無(wú)線通信連接的圖形工作站，單目攝像機(jī)捕捉獲取觀測(cè)到的實(shí)時(shí)視頻流數(shù)據(jù)并傳輸給筆記本電腦，筆記本電腦對(duì)實(shí)時(shí)視頻流數(shù)據(jù)進(jìn)行預(yù)處理，然后傳輸給圖形工作站對(duì)實(shí)時(shí)視頻流數(shù)據(jù)中的目標(biāo)行人進(jìn)行識(shí)別和跟蹤，筆記本電腦通過(guò)目標(biāo)跟隨控制策略生成輪式移動(dòng)平臺(tái)運(yùn)動(dòng)控制指令，輪式移動(dòng)平臺(tái)接收筆記本電腦生成的運(yùn)動(dòng)控制指令執(zhí)行運(yùn)行動(dòng)作，實(shí)現(xiàn)對(duì)單目攝像機(jī)觀測(cè)的目標(biāo)行人的實(shí)時(shí)跟隨。該系統(tǒng)和方法可以實(shí)現(xiàn)對(duì)目標(biāo)行人的精確跟蹤，成本低、可移植性強(qiáng)，應(yīng)用前景廣闊。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器人技術(shù)領(lǐng)域，尤其涉及一種移動(dòng)機(jī)器人單目視覺跟隨系統(tǒng)及跟隨方法。

背景技術(shù)

服務(wù)型機(jī)器人是指非從事工業(yè)生產(chǎn)的全自主或半自主工作的機(jī)器人，服務(wù)機(jī)器人中以移動(dòng)機(jī)器人居多，一般來(lái)說(shuō)，服務(wù)機(jī)器人與工業(yè)機(jī)器人的一個(gè)主要差別在于服務(wù)機(jī)器人所處的應(yīng)用環(huán)境是以人為主的復(fù)雜的非結(jié)構(gòu)化環(huán)境，目標(biāo)跟隨技術(shù)作為自主可移動(dòng)的服務(wù)于個(gè)人/家庭的服務(wù)機(jī)器人核心應(yīng)用技術(shù)領(lǐng)域中的一種，是一門融合了計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、多傳感器融合、機(jī)器人運(yùn)動(dòng)建模控制等諸多科研領(lǐng)域的系統(tǒng)性學(xué)科技術(shù)。

現(xiàn)有的成熟的機(jī)器人目標(biāo)跟隨技術(shù)普遍存在成本高、可移植性弱、魯棒性較差的特點(diǎn)，多依賴于雙目攝像機(jī)、激光雷達(dá)等價(jià)格昂貴的傳感器，且并不能實(shí)現(xiàn)對(duì)特定的動(dòng)態(tài)目標(biāo)進(jìn)行跟蹤，或須佩戴配套連接設(shè)備，成本增加且極其不方便。

基于單目攝像機(jī)的目標(biāo)跟隨技術(shù)可以從一定程度上解決目前所遇到的這些問(wèn)題，這種方案所依賴的算法更突出和強(qiáng)調(diào)對(duì)視覺信息(RGB數(shù)據(jù)流)的利用，且成本相較而言極低，潛力更大。而且基于單目視覺的圖像處理技術(shù)同時(shí)也涉及到目標(biāo)檢測(cè)、多目標(biāo)跟蹤等視覺圖像處理核心技術(shù)，是相同領(lǐng)域不同技術(shù)之間的相互融合，可產(chǎn)生較大的產(chǎn)業(yè)價(jià)值與廣闊的市場(chǎng)前景。不論從社會(huì)應(yīng)用價(jià)值方向還是技術(shù)趨產(chǎn)業(yè)化方向，研究在復(fù)雜的多人非結(jié)構(gòu)環(huán)境下如何能夠兼顧低成本可控性、高可移植性和較好魯棒性去實(shí)現(xiàn)目標(biāo)跟隨技術(shù)，將是解決代替?zhèn)鹘y(tǒng)方案所導(dǎo)致的高成本甚至低跟蹤準(zhǔn)確性，以至于無(wú)法實(shí)際應(yīng)用到現(xiàn)實(shí)生活中的一系列問(wèn)題的新發(fā)展方向。

發(fā)明內(nèi)容

本發(fā)明主要解決的技術(shù)問(wèn)題是提供一種移動(dòng)機(jī)器人單目視覺跟隨系統(tǒng)及跟隨方法，解決現(xiàn)有技術(shù)中服務(wù)機(jī)器人組成復(fù)雜、實(shí)現(xiàn)成本高、缺乏可移植性等問(wèn)題。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是提供一種移動(dòng)機(jī)器人單目視覺跟隨系統(tǒng)，包括單目攝像機(jī)、圖形工作站、筆記本電腦和輪式移動(dòng)平臺(tái)，其中單目攝像機(jī)和筆記本電腦均搭載在輪式移動(dòng)平臺(tái)上，圖形工作站和筆記本電腦同處于一個(gè)無(wú)線局域網(wǎng)內(nèi)且無(wú)線通信連接，單目攝像機(jī)捕捉獲取觀測(cè)到的實(shí)時(shí)視頻流數(shù)據(jù)并傳輸給筆記本電腦，筆記本電腦對(duì)實(shí)時(shí)視頻流數(shù)據(jù)進(jìn)行預(yù)處理，然后傳輸給圖形工作站對(duì)實(shí)時(shí)視頻流數(shù)據(jù)中的目標(biāo)行人進(jìn)行識(shí)別和跟蹤，筆記本電腦通過(guò)目標(biāo)跟隨控制策略生成輪式移動(dòng)平臺(tái)運(yùn)動(dòng)控制指令，輪式移動(dòng)平臺(tái)接收筆記本電腦生成的運(yùn)動(dòng)控制指令執(zhí)行運(yùn)行動(dòng)作，實(shí)現(xiàn)對(duì)單目攝像機(jī)觀測(cè)的目標(biāo)行人的實(shí)時(shí)跟隨。

優(yōu)選的，在所述筆記本電腦中，設(shè)置有視頻流輸入模塊、壓縮格式視頻流處理模塊和無(wú)延遲圖像信息傳輸模塊，其中視頻流輸入模塊用于采集輸入單目攝像機(jī)拍攝的視頻流并進(jìn)行預(yù)處理，完成對(duì)輸入視頻幀圖像的畸變校正；壓縮格式視頻流處理模塊用于對(duì)預(yù)處理的視頻流進(jìn)行壓縮處理，降低視頻數(shù)據(jù)傳輸?shù)臄?shù)據(jù)量；無(wú)延遲圖像信息傳輸模塊則用于對(duì)壓縮后的視頻流進(jìn)行無(wú)延時(shí)的通信傳輸，由筆記本電腦傳輸給圖形工作站。

優(yōu)選的，在所述圖形工作站中，包括目標(biāo)檢測(cè)模塊和多目標(biāo)跟蹤模塊，通過(guò)這兩個(gè)模塊之間的融合交互運(yùn)行，實(shí)現(xiàn)YOLOV3目標(biāo)檢測(cè)算法和Deep?SORT多目標(biāo)跟蹤算法融合，實(shí)現(xiàn)對(duì)特定行人目標(biāo)的檢測(cè)和跟蹤。