[發明專利]一種導航尋路方法、機器人及系統

有效

• 申請號: 201710037836.2
• 申請日: 2017-01-18
• 公開（公告）號: CN106873585B
• 公開（公告）日: 2019-12-03
• 發明（設計）人: 陳曉禾;任杰
• 申請（專利權）人: 上海器魂智能科技有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06N3/08
• 代理公司: 11227 北京集佳知識產權代理有限公司
• 代理人: 張振軍;吳敏<國際申請>=<國際公布>=

1.一種導航尋路方法，其特征在于，包括：

通過采集設備采集機器人在訓練運動過程中的環境信息，并根據所述訓練運動過程中的環境信息生成訓練數據；

利用所述訓練數據采用深度強化學習的方法訓練深度神經網絡，以使訓練后的所述深度神經網絡適于根據尋路數據進行決策分析，并指示所述機器人向導航目標做尋路運動，所述尋路數據根據所述采集設備在尋路應用過程中采集的數據和所述導航目標得到；

還包括：

a：將所述尋路數據送入訓練后的所述深度神經網絡并進行前向傳播，以得到最優運動數據；

b：使用所述最優運動數據指示所述機器人向導航目標做尋路運動。

2.根據權利要求1所述的導航尋路方法，其特征在于，所述采集設備包括以下一種或多種：超聲采集設備、激光采集設備、雷達、紅外采集設備、超寬帶采集設備、攝像頭和3D體感攝影機。

3.根據權利要求1所述的導航尋路方法，其特征在于，所述生成訓練數據的過程包括：

確定所述訓練運動過程包含的至少一個運動操作，所述運動操作根據對應的運動數據的指示完成；

確定每一運動操作的運動前狀態數據和運動后狀態數據，所述運動前狀態數據包括所述運動操作執行前的環境信息，所述運動后狀態數據包括所述運動操作執行后的環境信息；

根據所述運動前狀態數據和所述運動后狀態數據計算反饋獎勵數值；

將所述運動數據及其運動前狀態數據、運動后狀態數據以及反饋獎勵數值作為所述訓練數據。

4.根據權利要求3所述的導航尋路方法，其特征在于，所述利用所述訓練數據訓練深度神經網絡包括：

S51：將所述訓練數據中的所述運動前狀態數據送入所述深度神經網絡并進行前向傳播，以獲取所述訓練數據中的所述運動數據的價值函數值，所述運動數據的價值函數值用于評價所述機器人進行的運動操作在導航全程中對于到達訓練目標的價值；

S52：將所述訓練數據中的運動后狀態數據送入所述深度神經網絡并進行前向傳播，以獲得所述深度神經網絡輸出的各個所述運動數據的價值函數值；

S53：根據所述深度神經網絡輸出的各個所述運動數據的價值函數值中的最大值，以及所述運動數據的反饋獎勵數值，計算目標價值函數值；

S54：根據所述訓練數據、所述運動數據的價值函數值以及所述目標價值函數值進行反向傳播，以更新所述深度神經網絡的參數；

根據上述步驟S51至S54迭代更新所述深度神經網絡的參數，直至所述深度神經網絡達到收斂。

5.根據權利要求3或4所述的導航尋路方法，其特征在于，所述計算反饋獎勵數值包括：根據所述運動前狀態數據和所述運動后狀態數據，分別獲取所述運動操作前后所述機器人與障礙物的距離，并且分別獲取所述運動操作前后所述機器人與訓練目標信息的距離；根據所述運動操作前后所述機器人與障礙物的距離和所述運動操作前后所述機器人與訓練目標信息的距離，計算所述反饋獎勵數值。

6.根據權利要求5所述的導航尋路方法，其特征在于，依據以下公式計算所述反饋獎勵數值r：

其中，β、δ均為調整系數，TD1表征所述運動操作前所述機器人與訓練目標的距離，TD2表征所述運動操作后所述機器人與訓練目標的距離，OD1表征所述機器人在執行所述運動操作之前與障礙物的距離，OD2表征所述機器人在執行所述運動操作之后與障礙物的距離。

7.根據權利要求4所述的導航尋路方法，其特征在于，在所述反向傳播的過程中采用minibatch梯度下降法。

8.根據權利要求4所述的導航尋路方法，其特征在于，所述深度神經網絡的輸出的各個所述運動數據選自預設的運動集合。

9.根據權利要求4所述的導航尋路方法，其特征在于，根據貝爾曼方程計算所述目標價值函數值。

10.根據權利要求3所述的導航尋路方法，其特征在于，使用貪心探索算法產生所述運動數據。