[發明專利]一種導航尋路方法、機器人及系統

有效

• 申請號: 201710037836.2
• 申請日: 2017-01-18
• 公開（公告）號: CN106873585B
• 公開（公告）日: 2019-12-03
• 發明（設計）人: 陳曉禾;任杰
• 申請（專利權）人: 上海器魂智能科技有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06N3/08
• 代理公司: 11227 北京集佳知識產權代理有限公司
• 代理人: 張振軍;吳敏<國際申請>=<國際公布>=

本發明提供一種導航尋路方法、機器人及系統，所述方法通過采集設備采集機器人在訓練運動過程中的環境信息，并根據所述訓練運動過程中的環境信息生成訓練數據；利用所述訓練數據采用深度強化學習的方法訓練深度神經網絡，以使訓練后的所述深度神經網絡適于根據尋路數據進行決策分析，并指示所述機器人向導航目標做尋路運動，所述尋路數據根據所述采集設備在尋路應用過程中采集的數據和所述導航目標得到。本發明的導航尋路方法、機器人及系統的導航尋路的準確性更高。

技術領域

本發明涉及機器人技術領域，尤其涉及一種導航尋路方法、機器人及系統。

背景技術

在機器人技術領域中，機器人導航尋路的應用越來越多。機器人導航尋路是自主移動機器人導航功能的重要問題之一，機器人導航尋路的目的是使機器人在應用環境中，無碰撞的到達目的地。

現有的機器人導航尋路的準確性有待提升。

發明內容

本發明解決的技術問題是提升機器人導航尋路的準確性。

為解決上述技術問題，本發明實施例提供一種導航尋路方法，通過采集設備采集機器人在訓練運動過程中的環境信息，并根據所述訓練運動過程中的環境信息生成訓練數據；利用所述訓練數據采用深度強化學習的方法訓練深度神經網絡，以使訓練后的所述深度神經網絡適于根據尋路數據進行決策分析，并指示所述機器人向導航目標做尋路運動，所述尋路數據根據所述采集設備在尋路應用過程中采集的數據和所述導航目標得到。

可選的，所述采集設備包括以下一種或多種：超聲采集設備、激光采集設備、雷達、紅外采集設備、超寬帶采集設備、攝像頭和3D體感攝影機。

可選的，所述生成訓練數據的過程包括：確定所述訓練運動過程包含的至少一個運動操作，所述運動操作根據對應的運動數據的指示完成；確定每一運動操作的運動前狀態數據和運動后狀態數據，所述運動前狀態數據包括所述運動操作執行前的環境信息，所述運動后狀態數據包括所述運動操作執行后的環境信息；根據所述運動前狀態數據和所述運動后狀態數據計算反饋獎勵數值；將所述運動數據及其運動前狀態數據、運動后狀態數據以及反饋獎勵數值作為所述訓練數據。

可選的，所述利用所述訓練數據訓練深度神經網絡包括：將所述訓練數據中的所述運動前狀態數據送入所述深度神經網絡并進行前向傳播，以獲取所述訓練數據中的所述運動數據的價值函數值，所述運動數據的價值函數值用于評價所述機器人進行的運動操作在導航全程中對于到達訓練目標的價值；將所述訓練數據中的運動后狀態數據送入所述深度神經網絡并進行前向傳播，以獲得所述深度神經網絡輸出的各個所述運動數據的價值函數值；根據所述深度神經網絡輸出的各個所述運動數據的價值函數值中的最大值，以及所述運動數據的反饋獎勵數值，計算目標價值函數值；根據所述訓練數據、所述運動數據的價值函數值以及所述目標價值函數值進行反向傳播，以更新所述深度神經網絡的參數；根據上述步驟迭代更新所述深度神經網絡的參數，直至所述深度神經網絡達到收斂。

可選的，所述計算反饋獎勵數值包括：根據所述運動前狀態數據和所述運動后狀態數據，分別獲取所述運動操作前后所述機器人與障礙物的距離，并且分別獲取所述運動操作前后所述機器人與訓練目標信息的距離；根據所述運動操作前后所述機器人與障礙物的距離和所述運動操作前后所述機器人與訓練目標信息的距離，計算所述反饋獎勵數值。

可選的，依據以下公式計算所述反饋獎勵數值r：

其中，β、δ均為調整系數，TD1表征所述運動操作前所述機器人與訓練目標的距離，TD2表征所述運動操作后所述機器人與訓練目標的距離，OD1表征所述機器人在執行所述運動操作之前與障礙物的距離，OD2表征所述機器人在執行所述運動操作之后與障礙物的距離。

可選的，在所述反向傳播的過程中采用minibatch梯度下降法。

可選的，所述深度神經網絡的輸出的各個所述運動數據選自預設的運動集合。