[發(fā)明專利]一種人機(jī)協(xié)同自然語(yǔ)言空間導(dǎo)航方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911206721.7
• 申請(qǐng)日: 2019-11-29
• 公開（公告）號(hào): CN110928302A
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 付艷;程祥;李世其;王峻峰;邱侃;程力;李雪;譚杰
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G05D1/02
• 分類號(hào): G05D1/02;G06K9/00
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 李智

1.一種人機(jī)協(xié)同自然語(yǔ)言空間導(dǎo)航方法，其特征在于，包括以下步驟：

接收用戶發(fā)送的空間導(dǎo)航語(yǔ)音指令，并根據(jù)預(yù)設(shè)的語(yǔ)法規(guī)則，將所述空間導(dǎo)航語(yǔ)音指令轉(zhuǎn)化成相應(yīng)的導(dǎo)航指令數(shù)組；所述預(yù)設(shè)的語(yǔ)法規(guī)則包括以下關(guān)鍵詞：屬性、位置、方向、物體以及動(dòng)作；所述空間導(dǎo)航語(yǔ)音指令屬于自然語(yǔ)言；

采集機(jī)器人所在環(huán)境中界標(biāo)物的位置和屬性；并根據(jù)所述界標(biāo)物的屬性確定機(jī)器人的空間認(rèn)知地圖，以所述機(jī)器人的視角認(rèn)知空間各個(gè)物體所在的位置；所述界標(biāo)物為便于目標(biāo)物的描述而選取的參照物體，所述界標(biāo)物的屬性包括：顏色、形狀、紋理、亮度、大小、方向、種類、動(dòng)作以及空間坐標(biāo)；

基于所述空間認(rèn)知地圖對(duì)所述導(dǎo)航指令數(shù)組進(jìn)行認(rèn)知推理，在所述空間認(rèn)知地圖中確定所述導(dǎo)航指令數(shù)組要求所述機(jī)器人所要到達(dá)的目的地的空間三維坐標(biāo)，以及確定所述機(jī)器人到達(dá)目的地所要執(zhí)行的動(dòng)作；

根據(jù)所述目的地的空間三維坐標(biāo)和所要執(zhí)行的動(dòng)作執(zhí)行相關(guān)導(dǎo)航動(dòng)作以到達(dá)所述目的地。

2.根據(jù)權(quán)利要求1所述的人機(jī)協(xié)同自然語(yǔ)言空間導(dǎo)航方法，其特征在于，所述用戶發(fā)送的空間導(dǎo)航語(yǔ)音指令具體通過(guò)如下方式發(fā)出：

根據(jù)用戶眼睛看到的界標(biāo)物及其屬性，建立用戶的空間定位坐標(biāo)系；

基于用戶的空間坐標(biāo)系，發(fā)出所述空間導(dǎo)航語(yǔ)音指令，以指示機(jī)器人導(dǎo)航至空間定位坐標(biāo)系的預(yù)設(shè)目的地。

3.根據(jù)權(quán)利要求2所述的人機(jī)協(xié)同自然語(yǔ)言空間導(dǎo)航方法，其特征在于，所述空間認(rèn)知地圖通過(guò)機(jī)器人所在環(huán)境中界標(biāo)物的位置和界標(biāo)物的屬性，結(jié)合相關(guān)陳述性知識(shí)構(gòu)建；所述陳述性知識(shí)用于描述各個(gè)界標(biāo)物的三維坐標(biāo)以及不同界標(biāo)物之間的相對(duì)方位。

4.根據(jù)權(quán)利要求3所述的人機(jī)協(xié)同自然語(yǔ)言空間導(dǎo)航方法，其特征在于，基于所述空間認(rèn)知地圖對(duì)所述導(dǎo)航指令數(shù)組進(jìn)行認(rèn)知推理，在所述空間認(rèn)知地圖中確定所述導(dǎo)航指令數(shù)組要求所述機(jī)器人所要到達(dá)的目的地的空間三維坐標(biāo)，以及確定所述機(jī)器人到達(dá)目的地所要執(zhí)行的動(dòng)作，具體包括如下步驟：

分析所述導(dǎo)航指令數(shù)組，基于導(dǎo)航指令數(shù)組中的參考框架、方向以及動(dòng)作確定所述預(yù)設(shè)目的地；所述參考框架為以物體或人為中心的視角表示的位置關(guān)系；

基于機(jī)器人的空間認(rèn)知地圖確定所述預(yù)設(shè)目的地在空間認(rèn)知地圖的空間三維坐標(biāo)；

基于所述空間認(rèn)知地圖的陳述性知識(shí)，所述空間三維坐標(biāo)確定在所述空間認(rèn)知地圖中機(jī)器人到達(dá)所述空間三維坐標(biāo)所要執(zhí)行的動(dòng)作。

5.一種人機(jī)協(xié)同自然語(yǔ)言空間導(dǎo)航系統(tǒng)，其特征在于，包括：

聽覺(jué)模塊，用于接收用戶發(fā)送的空間導(dǎo)航語(yǔ)音指令，并根據(jù)預(yù)設(shè)的語(yǔ)法規(guī)則，將所述空間導(dǎo)航語(yǔ)音指令轉(zhuǎn)化成相應(yīng)的導(dǎo)航指令數(shù)組；所述預(yù)設(shè)的語(yǔ)法規(guī)則包括以下關(guān)鍵詞：屬性、位置、方向、物體以及動(dòng)作；所述空間導(dǎo)航語(yǔ)音指令屬于自然語(yǔ)言；

視覺(jué)模塊，用于采集機(jī)器人所在環(huán)境中界標(biāo)物的位置和屬性；并根據(jù)所述界標(biāo)物的屬性確定機(jī)器人的空間認(rèn)知地圖，以所述機(jī)器人的視角認(rèn)知空間各個(gè)物體所在的位置；所述界標(biāo)物為便于目標(biāo)物的描述而選取的參照物體，所述界標(biāo)物的屬性包括：顏色、形狀、紋理、亮度、大小、方向、種類、動(dòng)作以及空間坐標(biāo)；

空間認(rèn)知模塊，用于基于所述空間認(rèn)知地圖對(duì)所述導(dǎo)航指令數(shù)組進(jìn)行認(rèn)知推理，在所述空間認(rèn)知地圖中確定所述導(dǎo)航指令數(shù)組要求所述機(jī)器人所要到達(dá)的目的地的空間三維坐標(biāo)，以及確定所述機(jī)器人到達(dá)目的地所要執(zhí)行的動(dòng)作；

動(dòng)作模塊，用于根據(jù)所述目的地的空間三維坐標(biāo)和所要執(zhí)行的動(dòng)作執(zhí)行相關(guān)導(dǎo)航動(dòng)作以到達(dá)所述目的地。

6.根據(jù)權(quán)利要求5所述的人機(jī)協(xié)同自然語(yǔ)言空間導(dǎo)航系統(tǒng)，其特征在于，所述聽覺(jué)模塊接收的用戶發(fā)送的空間導(dǎo)航語(yǔ)音指令具體通過(guò)如下方式發(fā)出：根據(jù)用戶眼睛看到的界標(biāo)物及其屬性，建立用戶的空間定位坐標(biāo)系；基于用戶的空間坐標(biāo)系，發(fā)出所述空間導(dǎo)航語(yǔ)音指令，以指示機(jī)器人導(dǎo)航至空間定位坐標(biāo)系的預(yù)設(shè)目的地。

7.根據(jù)權(quán)利要求6所述的人機(jī)協(xié)同自然語(yǔ)言空間導(dǎo)航系統(tǒng)，其特征在于，所述空間認(rèn)知地圖通過(guò)機(jī)器人所在環(huán)境中界標(biāo)物的位置和界標(biāo)物的屬性，結(jié)合相關(guān)陳述性知識(shí)構(gòu)建；所述陳述性知識(shí)用于描述各個(gè)界標(biāo)物的三維坐標(biāo)以及不同界標(biāo)物之間的相對(duì)方位。

8.根據(jù)權(quán)利要求7所述的人機(jī)協(xié)同自然語(yǔ)言空間導(dǎo)航系統(tǒng)，其特征在于，所述空間認(rèn)知模塊分析所述導(dǎo)航指令數(shù)組，基于導(dǎo)航指令數(shù)組中的參考框架、方向以及動(dòng)作確定所述預(yù)設(shè)目的地；所述參考框架為以物體或人為中心的視角表示的位置關(guān)系；基于機(jī)器人的空間認(rèn)知地圖確定所述預(yù)設(shè)目的地在空間認(rèn)知地圖的空間三維坐標(biāo)；基于所述空間認(rèn)知地圖的陳述性知識(shí)，所述空間三維坐標(biāo)確定在所述空間認(rèn)知地圖中機(jī)器人到達(dá)所述空間三維坐標(biāo)所要執(zhí)行的動(dòng)作。