[發(fā)明專利]一種機器人人機交互方法

有效

• 申請?zhí)枺?/td>: 202110206075.5
• 申請日: 2021-02-24
• 公開（公告）號: CN112873211B
• 公開（公告）日: 2022-03-11
• 發(fā)明（設(shè)計）人: 劉華平;陸升陽;張新鈺;袁小虎;趙懷林
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: B25J9/16
• 分類號: B25J9/16;G01C21/00;G01S17/86;G01S17/89
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 羅文群

1.一種機器人人機交互方法，其特征在于該方法包括：

拍攝環(huán)境的RGB圖像與深度圖，利用激光雷達探測障礙物信息，獲取障礙物數(shù)組，對獲取數(shù)據(jù)進行歸一化處理，構(gòu)建人機交互中的問題編碼網(wǎng)絡(luò)將問題進行編碼；構(gòu)建圖像特征提取網(wǎng)絡(luò)，將RGB圖像與深度圖像信息提取成為一個特征矩陣，將激光雷達數(shù)據(jù)、問題編碼和特征矩陣進行拼接得到特征融合矩陣；采用卷積網(wǎng)絡(luò)獲取數(shù)據(jù)融合矩陣作為周邊環(huán)境的數(shù)據(jù)融合矩陣；訓(xùn)練一個循環(huán)神經(jīng)網(wǎng)絡(luò)作為導(dǎo)航器，將數(shù)據(jù)融合矩陣作為輸入，輸出為“前，左，右，停止”動作之一，控制機器人運動方向；具體步驟如下：

(1)拍攝環(huán)境的RGB圖像與深度圖，稱為環(huán)境圖像，環(huán)境圖像為一個3*(w*h)圖像，環(huán)境圖像中含有3個圖層，每一個圖層的尺寸為(w*h)，利用下式，對環(huán)境圖像進行歸一化處理：

式中，代表歸一化后環(huán)境圖像中像素點的值，x_i代表原環(huán)境圖像中像素點的值，x_min代表像素點的最小值，x_max代表像素點的最大值；

(2)構(gòu)建一個卷積神經(jīng)網(wǎng)絡(luò)，具體包括以下步驟：

設(shè)定卷積神經(jīng)網(wǎng)絡(luò)的第一層為卷積層，該卷積層的卷積核為5*5的矩陣，通道數(shù)為8；卷積神經(jīng)網(wǎng)絡(luò)的第二層為非線性激活層，非線性激活函數(shù)為relu函數(shù)，將卷積層的輸出作為該層輸入，增加網(wǎng)絡(luò)的非線性，卷積神經(jīng)網(wǎng)絡(luò)的的第三層為數(shù)據(jù)歸一化層，該層的輸入為非線性激活層的輸出；

(3)利用上述步驟(2)的卷積神經(jīng)網(wǎng)絡(luò)，對步驟(1)的環(huán)境圖像進行特征提取，得到環(huán)境特征融合矩陣L，包括以下步驟：

(3-1)將步驟(1)歸一化處理后的環(huán)境圖像輸入到步驟(2)的卷積神經(jīng)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)輸出RGB圖像的特征矩陣M與深度圖的特征矩陣G；

(3-2)將步驟(3-1)的特征矩陣M與特征矩陣G相加，得到融合矩陣K，將融合矩陣K進行矩陣變換，得到環(huán)境特征融合矩陣L,L為1*1*128的矩陣；

(4)探測障礙物信息，記為障礙物數(shù)組Z，利用下式，對障礙物數(shù)組Z進行歸一化處理得到歸一化后的矩陣Z_j：

式中，代表歸一化處理后障礙物數(shù)組的值，z_j代表原障礙物數(shù)組的值，z_min代表障礙物數(shù)組的最小值，z_max代表障礙物數(shù)組的最大值；

對歸一化后的矩陣Z_j進行線性變換，得到障礙物特征矩陣N，N為1*1*64的矩陣；

(5)構(gòu)建一個問題編碼網(wǎng)絡(luò)，具體包括以下步驟：

(5-1)設(shè)定問題編碼網(wǎng)絡(luò)的第一層為第一長短時記憶層，第一長短時記憶層的神經(jīng)元個數(shù)是128個，問題編碼網(wǎng)絡(luò)的第二層為長短時記憶層，第二層為長短時記憶層的神經(jīng)元個數(shù)是128個，得到一個問題編碼網(wǎng)絡(luò)；

(5-2)將人機交互問題中的單詞進行編號；

(5-3)將步驟(5-2)的進行編號后的人機交互問題中的單詞輸入步驟(5-1)的問題編碼網(wǎng)絡(luò)，問題編碼網(wǎng)絡(luò)輸出一個問題矩陣，對問題矩陣進行變換，得到問題特征矩陣O，問題特征矩陣O為1*1*64的矩陣；

(6)對步驟(3)的環(huán)境特征融合矩陣L、步驟(4)的障礙物特征矩陣N和步驟(5)的問題特征矩陣O，按照通道數(shù)進行矩陣拼接，得到特征融合矩陣P，特征融合矩陣P為1*1*256的矩陣；

(7)設(shè)計一個卷積網(wǎng)絡(luò)，該卷積網(wǎng)絡(luò)的卷積核為1*1的矩陣，卷積網(wǎng)絡(luò)的通道數(shù)為64，將步驟(6)的特征融合矩陣P輸入該卷積網(wǎng)絡(luò)，卷積網(wǎng)絡(luò)輸出一個數(shù)據(jù)融合矩陣Q；

(8)建立一個循環(huán)神經(jīng)網(wǎng)絡(luò)，該循環(huán)神經(jīng)網(wǎng)絡(luò)的第一層為長短期記憶網(wǎng)絡(luò)，長短期記憶網(wǎng)絡(luò)中的神經(jīng)元個數(shù)為64個，該循環(huán)神經(jīng)網(wǎng)絡(luò)的第二層為線性變換層，該循環(huán)神經(jīng)網(wǎng)絡(luò)的第三層為softmax分類層，softmax分類層的神經(jīng)元個數(shù)為4個；循環(huán)神經(jīng)網(wǎng)絡(luò)最終輸出為“前，左，右，停止”四個動作中的一個；

(9-1)利用步驟(7)數(shù)據(jù)融合矩陣Q對步驟(8)的循環(huán)神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到一個導(dǎo)航器，即向步驟(8)的循環(huán)神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)融合矩陣Q，循環(huán)神經(jīng)網(wǎng)絡(luò)輸出為“前，左，右，停止”四個動作，在循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，利用損失函數(shù)，計算損失值Loss：

其中i為動作序號，為第i個輸出動作，將第i個輸出動作與輸入數(shù)據(jù)融合矩陣Q中的相應(yīng)動作進行比較，若輸出動作與數(shù)據(jù)融合矩陣Q中的相應(yīng)動作相同，則記y_i為1，若輸出動作與數(shù)據(jù)融合矩陣Q中的相應(yīng)動作不相同，則記y_i為0；

(9-2)設(shè)定損失值Loss的閾值，損失值Loss的閾值為0.5，采用損失函數(shù)計算每一次訓(xùn)練的損失值，當(dāng)損失值小于閾值時，完成導(dǎo)航器的訓(xùn)練；

(10)利用步驟(9-2)的導(dǎo)航器進行導(dǎo)航，導(dǎo)航器的表達式為：

a_t,h_t←LSTM(h_t-1,I_t⁰,Q,a_t-1)

其中，t表示機器人走的步數(shù)，a_t表示機器人第t步的移動方向,h_t表示第t步循環(huán)神經(jīng)網(wǎng)絡(luò)中長短期記憶網(wǎng)絡(luò)的隱藏層輸出，a_t-1表示上個步驟(9-1)的動作輸出，h_t-1表示上個步驟長短期記憶網(wǎng)絡(luò)的隱藏狀態(tài)，Q表示問題的編碼，I_t⁰表示第t步時步驟(7)的整個長短期記憶網(wǎng)絡(luò)的數(shù)據(jù)融合輸入，←表示導(dǎo)航器的輸出方式；

向該導(dǎo)航器輸入步驟(5)的問題編碼、步驟(1)的RGB圖像和深度圖像以及步驟(8)的上一時刻長短期記憶層的隱藏狀態(tài)，導(dǎo)航器輸出前、左、右或停止導(dǎo)航四個指令中的一個，實現(xiàn)機器人的人機交互。