[發明專利]一種無人車智能避障方法及系統

有效

• 申請號: 201710408748.9
• 申請日: 2017-06-02
• 公開（公告）號: CN107065890B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 徐國艷;宗孝鵬;余貴珍
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京知匯林知識產權代理事務所(普通合伙) 11794
• 代理人: 董濤

一種基于強化學習的無人車避障系統，其特征在于，系統包括感知部分、決策部分、控制部分與執行部分，感知部分通過單線激光雷達對障礙物區域進行檢測，實現障礙物信息獲取，決策部分根據障礙物檢測情況，決定無人車下一時刻是否需要避障，如果需要，控制部分將感知部分的狀態信息輸入強化學習模型，模型經過試錯學習，收斂到穩定狀態，計算出無人車所需的方向盤轉角，由無人車執行部分執行，從而實現避障功能。

技術領域

本發明涉及一種無人車避障方法及系統，更特別地說，是指一種基于強化學習的無人車智能避障方法及系統。

背景技術

隨著科學技術的發展，無人車技術得到了深入的發展和研究，實現在復雜未知的動態環境中自主避障是無人車實用化的關鍵部分。傳統的避障方法采用專家經驗編程，通過車載傳感器獲得自身位姿信息和外界障礙物信息，然后通過車輛自身信息與外界障礙物進行比較，計算無人車所需的方向盤角度和速度大小。這些方法需要一定的專家知識，在復雜未知環境中的自適應能力不強。

近年來，利用強化學習進行機器人的路徑規劃成為研究熱點，但尚未有將強化學習在無人車避障上的成功應用。本發明利用強化學習的自適應、自學習特點，應用在無人車避障方法中，使無人車通過不斷地學習，更新自身知識，最終實現在未知環境中自主避障。

Q學習是由Watkins提出的一種模型無關的強化學習算法，其思想是不去估計環境模型，直接優化一個可以迭代計算的Q函數，定義Q函數為在狀態s_t時執行動作a_t，此后按照最優動作序列執行時的折扣累計強化值，即：

Q(s_t，a_t)←Q(s_t，a_t)+a[r_t+γmax_a∈A{Q(s_t+1，a)}-Q(s_t，a_t)]

其中，Q(s_t，a_t)表示智能體在狀態s_t下采用動作a_t所獲得的最優獎賞折扣，a是學習因子，r_t是立即回報值，γ是折扣因子，A是有限的動作集合。

Q學習的算法流程如下：

1.初始化：Q(s_t，a_t)←任意值，給定參數a，γ初值；

2.Repeat

給定起始狀態s

Repeat(對于每一幕的每一步)

(a)根據動作選擇策略選擇動作a_t，得到立即回報r_t和下一個狀態s_t+1；

(b)Q(s_t，a_t)←Q(s_t，a_t)+a[r_t+γmax_a∈A{Q(s_t+1，a)}-Q(s_t，a_t)]；

(c)s_t←s_t+1

Until s_t是終止狀態

Until所有的Q(s，a)都收斂