[發(fā)明專利]一種基于安全強(qiáng)化學(xué)習(xí)及視覺(jué)傳感器的機(jī)器人避障系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110684879.6
• 申請(qǐng)日: 2021-06-21
• 公開（公告）號(hào): CN113359744B
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 郭洪飛;陳世帆;曾云輝;何睿潼;姜濤;廖丁為;何智慧;任亞平;張銳
• 申請(qǐng)（專利權(quán)）人: 暨南大學(xué)
• 主分類號(hào): G05D1/02
• 分類號(hào): G05D1/02
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 江耀純

1.一種基于安全強(qiáng)化學(xué)習(xí)及視覺(jué)傳感器的機(jī)器人避障系統(tǒng)，其特征在于：包括卷積神經(jīng)模塊，所述卷積神經(jīng)網(wǎng)絡(luò)模塊包括長(zhǎng)短期記憶單元，用于對(duì)激光雷達(dá)的輸入進(jìn)行編碼；包括加入LSTM單元，用于記憶模型學(xué)習(xí)過(guò)程中的信息；還包括第一卷積層，其使用一維卷積核來(lái)對(duì)LSTM單元編碼的結(jié)果進(jìn)行特征提取；還包括第二卷積層，其使用一維卷積核來(lái)進(jìn)行進(jìn)一步的特征提取；還包括第一全連接層，信息特征輸入到所述第一全連接層；還包括第二全連接層，所述第一全連接層的輸出連同機(jī)器人的目標(biāo)點(diǎn)的相對(duì)坐標(biāo)和機(jī)器人的速度一起輸入第二全連接層，最終輸出機(jī)器人線速度的平均值和角速度的平均值；還包括輸出層；還包括訓(xùn)練模型，所述訓(xùn)練模型中，對(duì)于移動(dòng)機(jī)器人i在t時(shí)刻的獎(jiǎng)賞函數(shù)設(shè)計(jì)如下:

其中r^reached表示移動(dòng)機(jī)器人到達(dá)設(shè)定目的地基時(shí)給予的獎(jiǎng)勵(lì):

r^approaching表示機(jī)器人接近目的地的獎(jiǎng)賞：

r^collision表示機(jī)器人發(fā)生碰撞時(shí)的獎(jiǎng)賞:

r^deviation表示機(jī)器人運(yùn)動(dòng)方向與目的地連線夾角過(guò)大時(shí)的獎(jiǎng)賞:

其中表示當(dāng)前移動(dòng)機(jī)器人的坐標(biāo)，gⁱ是該機(jī)器人的目標(biāo)點(diǎn)坐標(biāo)，r_a＝30，r_b＝2，r^deviation中的角度為弧度制，0.785弧度是角度制的45度，是當(dāng)前機(jī)器人線速度方向與機(jī)器人及目標(biāo)點(diǎn)連線夾角。

2.如權(quán)利要求1所述的基于安全強(qiáng)化學(xué)習(xí)及視覺(jué)傳感器的機(jī)器人避障系統(tǒng)，其特征在于：所述第一卷積層層使用ReLU作為激活函數(shù)；所述第一、二全連接層使用的激活函數(shù)也是ReLU；所述輸出層針對(duì)移動(dòng)機(jī)器人的線速度和角速度分別使用sigmoid和tanh作為激活函數(shù)。

3.如權(quán)利要求1所述的基于安全強(qiáng)化學(xué)習(xí)及視覺(jué)傳感器的機(jī)器人避障系統(tǒng)，其特征在于：包括單目視覺(jué)傳感器和雙目視覺(jué)傳感器，用于完成對(duì)圖像信息的收集；所述單目視覺(jué)系統(tǒng)只使用一個(gè)視覺(jué)傳感器，所述雙目立體視覺(jué)系統(tǒng)由兩個(gè)攝像機(jī)組成，利用三角測(cè)量原理獲得場(chǎng)景的深度信息，并且可以重建周圍景物的三維形狀和位置；所述雙目視覺(jué)系統(tǒng)通過(guò)匹配準(zhǔn)確得到立體視覺(jué)系統(tǒng)能夠比較準(zhǔn)確地恢復(fù)視覺(jué)場(chǎng)景的三維信息。

4.如權(quán)利要求1所述的基于安全強(qiáng)化學(xué)習(xí)及視覺(jué)傳感器的機(jī)器人避障系統(tǒng)，其特征在于：還包括CPO誤差模塊，用于對(duì)收集到的數(shù)據(jù)進(jìn)行誤差分析，在安全約束條件內(nèi)更新卷積神經(jīng)網(wǎng)絡(luò)模型和目標(biāo)模型，利用所述CPO誤差模塊來(lái)確保卷積神經(jīng)網(wǎng)絡(luò)模型和目標(biāo)模型的更新都在安全約束條件內(nèi)。

5.如權(quán)利要求1所述的基于安全強(qiáng)化學(xué)習(xí)及視覺(jué)傳感器的機(jī)器人避障系統(tǒng)，其特征在于：還包括云服務(wù)器及儲(chǔ)存器，實(shí)時(shí)采集的實(shí)時(shí)環(huán)境圖像信息預(yù)處理后結(jié)果發(fā)送到所述云服務(wù)器及儲(chǔ)存器中。

6.如權(quán)利要求5所述的基于安全強(qiáng)化學(xué)習(xí)及視覺(jué)傳感器的機(jī)器人避障系統(tǒng)，其特征在于：還包括CPU處理器，用于將預(yù)處理后的圖像信息發(fā)送到CPU處理器中進(jìn)行運(yùn)算，其中CPU處理器通過(guò)實(shí)時(shí)與模型訓(xùn)練模塊中的目標(biāo)模型模塊進(jìn)行交互實(shí)現(xiàn)對(duì)結(jié)果的運(yùn)算。

7.如權(quán)利要求6所述的基于安全強(qiáng)化學(xué)習(xí)及視覺(jué)傳感器的機(jī)器人避障系統(tǒng)，其特征在于：還包括機(jī)器人決策模塊，用于將所述CPU處理器運(yùn)算所得出的結(jié)果交由此機(jī)器人決策模塊進(jìn)行執(zhí)行并將執(zhí)行結(jié)果發(fā)送到云服務(wù)器及儲(chǔ)存器中。

8.如權(quán)利要求6所述的基于安全強(qiáng)化學(xué)習(xí)及視覺(jué)傳感器的機(jī)器人避障系統(tǒng)，其特征在于：還包括仿真平臺(tái)，用于根據(jù)機(jī)器人所處的環(huán)境進(jìn)行所述仿真平臺(tái)上的建模，構(gòu)成障礙物仿真環(huán)境。