[發(fā)明專利]基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010830399.1
• 申請(qǐng)日: 2020-08-18
• 公開(kāi)（公告）號(hào): CN111975776A
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 袁進(jìn)波
• 申請(qǐng)（專利權(quán)）人: 廣州市優(yōu)普科技有限公司
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;B25J19/02;G05D1/12;G06T7/277
• 代理公司: 深圳市創(chuàng)富知識(shí)產(chǎn)權(quán)代理有限公司 44367
• 代理人: 葉燦才

1.一種基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤系統(tǒng)，其特征在于，包括以下模塊：

控制客戶端模塊，用于接收用戶指令確認(rèn)追蹤場(chǎng)景和追蹤物體并根據(jù)追蹤場(chǎng)景和追蹤物體選擇開(kāi)啟相應(yīng)的感知設(shè)備；

機(jī)器人感知模塊，用于接收來(lái)自控制客戶端模塊的控制信號(hào)開(kāi)啟相應(yīng)感知設(shè)備，并將感知設(shè)備獲取的信息傳輸至定位跟蹤模塊；

定位跟蹤模塊，用于接收機(jī)器人感知模塊的信息并根據(jù)追蹤場(chǎng)景和追蹤物體加載不同的深度學(xué)習(xí)模型，配合卡爾曼濾波算法快速定位跟蹤物體，并且將處理數(shù)據(jù)實(shí)時(shí)同步至機(jī)器人移動(dòng)模塊和控制客戶端模塊；

機(jī)器人移動(dòng)模塊，用于匹配機(jī)器人的類型選擇對(duì)應(yīng)的移動(dòng)控制方法，并根據(jù)根據(jù)跟蹤定位模塊返回的實(shí)時(shí)坐標(biāo)跟蹤物體。

2.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤系統(tǒng)，其特征在于，所述控制客戶端模塊、機(jī)器人感知模塊、定位跟蹤模塊和機(jī)器人移動(dòng)模塊依次無(wú)線連接，所述機(jī)器人移動(dòng)模塊和定位跟蹤模塊還與控制客戶端模塊無(wú)線連接。

3.根據(jù)權(quán)利要求2所述一種基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤系統(tǒng)，其特征在于，所述控制客戶端模塊基于python的web開(kāi)發(fā)框架和tornado技術(shù)構(gòu)建。

4.根據(jù)權(quán)利要求3所述一種基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤系統(tǒng)，其特征在于，所述機(jī)器人感知模塊包括激光雷達(dá)感知部件、紅外感知部件、慣性測(cè)量裝置和雙目攝像頭系統(tǒng)。

5.根據(jù)權(quán)利要求4所述一種基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤系統(tǒng)，其特征在于，所述機(jī)器人的類型包括輪式移動(dòng)機(jī)器人、雙足式機(jī)器人和四足式機(jī)器人。

6.一種基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤方法，其特征在于，包括以下步驟：

機(jī)器人感知模塊根據(jù)控制客戶端的指令開(kāi)啟感知設(shè)備并獲取當(dāng)前輸入圖像；

提取當(dāng)前輸入圖像的特征向量并根據(jù)特征向量得到跟蹤物體信息；

將跟蹤物體信息作為卡爾曼濾波算法的輸入數(shù)據(jù)得到跟蹤物體實(shí)時(shí)位置；

將跟蹤物體信息和跟蹤物體實(shí)時(shí)位置反饋到機(jī)器人移動(dòng)控制模塊并控制機(jī)器人移動(dòng)跟蹤。

7.根據(jù)權(quán)利要求6所述一種基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤方法，其特征在于，判斷到場(chǎng)景中出現(xiàn)多個(gè)相似跟蹤物體的位置，基于深度學(xué)習(xí)方法，通過(guò)視覺(jué)系統(tǒng)獲取每個(gè)物體的特征向量并進(jìn)行特征向量相似度的計(jì)算，得到最優(yōu)相似度的特征向量和對(duì)應(yīng)的坐標(biāo)位置。

8.根據(jù)權(quán)利要求7所述一種基于深度學(xué)習(xí)和卡曼濾波算法的機(jī)器人移動(dòng)跟蹤方法，其特征在于，所述提取當(dāng)前輸入圖像的特征向量并根據(jù)特征向量得到跟蹤物體信息這一步驟，其具體還包括：

將輸入圖像經(jīng)過(guò)DarkNet-53網(wǎng)絡(luò)結(jié)構(gòu)處理得到輸入數(shù)據(jù)的特征向量；

將特征向量經(jīng)過(guò)Yolo網(wǎng)絡(luò)通過(guò)1*1的卷積處理和損失函數(shù)，輸出跟蹤物體信息。

9.根據(jù)權(quán)利要求8所述一種基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤方法，其特征在于，所述跟蹤物體信息包括跟蹤物體類別、跟蹤物體在當(dāng)前視野的中心坐標(biāo)、高度、寬度和縮放比例。

10.根據(jù)權(quán)利要求9所述一種基于深度學(xué)習(xí)和卡爾曼濾波的機(jī)器人移動(dòng)跟蹤方法，其特征在于，所述將跟蹤物體信息作為卡爾曼濾波算法的輸入數(shù)據(jù)得到跟蹤物體實(shí)時(shí)位置這一步驟，其具體包括：

根據(jù)跟蹤物體信息得到跟蹤物體當(dāng)前視野的坐標(biāo)數(shù)據(jù)并輸入到卡爾曼濾波算法得到跟蹤物體的狀態(tài)向量；

根據(jù)跟蹤物體的狀態(tài)向量和觀測(cè)方程得到跟蹤物體實(shí)時(shí)位置。