[發明專利]一種基于自然語言和語義地圖實現機器人自主導航的方法

有效

• 申請號: 201910981685.5
• 申請日: 2019-10-16
• 公開（公告）號: CN110825829B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 董敏;聶宏蓄;畢盛;楊塏泓
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/29
• 分類號: G06F16/29;G01C21/00;G06N3/0442;G06N3/0455;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于自然語言和語義地圖實現機器人自主導航的方法，其特征在于，包括以下步驟：

1)獲取機器人所處環境的語義地圖，包括出發點、目的地及其它位置之間的拓撲關系；其中，所述機器人所處環境的語義地圖是指用于描述機器人所處環境的拓撲地圖，包括表示環境中各個區域的頂點和表示頂點間相互通達關系的邊；

2)將獲取到的語義地圖中各個位置用頂點表示，用頂點間的邊表示頂點的通達關系，將每一對頂點之間的通達關系描述成三元組；

3)通過兩組雙層GRU編碼器分別提取已描述成三元組集合的語義地圖的特征和自然語言指令的特征，包括以下步驟：

3.1)每個包含N個三元組的語義地圖M及每個包含L個詞語的自然語言指令I分別描述為：

M＝{＜p₁,b₁,q₁,...,p_N,b_N,q_N＞}

I＝{l₁,...,l_L}

其中：地圖中的第i個三元組表示為＜p_i,b_i,q_i＞，下標i＝1,2,3,...,N表示N個三元組的索引號；自然語言指令中的第i個詞語表示為l_i，下標i＝1,2,3,...,L表示自然語言指令中L個詞語的索引號；

3.2)將三元組通過embedding層用向量表示，將自然語言指令通過embedding層用向量表示，三元組的向量表示和自然語言指令的向量表示分別描述為：

E_M＝{g₁,...,g_N}

E_L＝{i₁,...,i_L}

其中：語義地圖中第i個三元組的embedding向量表示為g_i，下標i＝1,2,3,...,N表示N個三元組的embedding向量索引號；自然語言指令中第i個單詞的embedding向量表示為i_i，下標i＝1,2,3,...,L表示自然語言指令中L個單詞的embedding向量索引號；

3.3)將語義地圖的embedding向量和自然語言指令的embedding向量分別通過雙層GRU進行編碼，獲取特征向量，語義地圖和自然語言指令的特征向量分別描述為：

F_M＝{fg₁,....,fg_N}

F_L＝{fi₁,...,fi_L}

其中：第i個三元組的特征向量表示為fg_i，下標i＝1,2,3,...,N表示N個三元組的特征向量索引號；自然語言指令中第i個詞語的特征向量表示為fi_i，下標i＝1,2,3,...,L表示自然語言指令中L個詞語的特征向量索引號；

4)通過注意力機制將語義地圖的特征和自然語言指令的特征融合，包括以下步驟：

4.1)對每一個三元組的特征向量，計算其關于自然語言指令中每個詞語對應特征向量的注意力，其過程描述為：

e_i＝[fg_iWfi₁,...,fg_iWfi_L]

a_i＝softmax(e_i)

其中，W表示不同維度的特征向量相乘時的權重，e_i表示語義地圖特征fg_i關于自然語言指令的每一個特征向量的注意力向量，a_i表示語義地圖特征fg_i關于自然語言指令的每一個特征向量的權重，fi_l表示自然語言指令中第l個詞語的特征向量；

4.2)通過注意力權重將語義地圖特征和自然語言指令特征融合，其過程描述為：

R＝{R₁，...,R_N}

其中，R_i表示N個融合特征向量第i個融合的特征向量，a_ij表示第i個三元組特征對第j個自然語言指令特征的注意力權重，fi_j表示第j個自然語言指令特征；

5)通過雙層GRU解碼器逐步生成導航指令；

6)將解碼得到的導航指令轉換成機器人能夠執行的指令序列，機器人根據指令序列進行自主導航。