[發明專利]基于深度Q網絡配送小車的自動行駛控制方法

有效

• 申請號: 201810199115.6
• 申請日: 2018-03-12
• 公開（公告）號: CN108594804B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 朱斐;吳文;伏玉琛;周小科
• 申請（專利權）人: 蘇州大學
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06K9/00
• 代理公司: 蘇州簡理知識產權代理有限公司 32371
• 代理人: 朱亦倩

本發明公開了一種基于深度Q網絡配送小車的自動行駛控制方法，其特征在于：包括傳感系統、控制系統、驅動系統及電力系統，所述傳感系統采集環境信息和電力系統信息，并將環境信息和電力系統信息傳入控制系統，所述控制系統根據接收到的信息通過自我學習控制方法來處理，控制配送小車的運動狀態。本發明通過在無人控制小車的控制系統中采用有安全距離的深度強化學習優化方法，處理來自傳感系統獲取的環境信息，然后選擇合適的行動，并利用傳感系統傳遞控制系統的控制信號到驅動系統，使無人控制小車執行對應的行動來適應千變萬化的道路環境。

技術領域

本發明屬于人工智能以及控制技術領域，尤其涉及一種基于深度Q網絡配送小車的自動行駛控制方法，可以進行自我學習，完成對無人控制小車的控制。

背景技術

近年來，隨著社會生活方法的變化，各類物流公司承接配送的物品量越來越多。傳統物流公司的主要工作流程是：物流到達目的城市后，快遞配送員人工配送至最終目的地。然而，隨著物流業務量越來越多，配送的時間要求越來越短，快遞配送員承擔的任務也越來越沉重，增加快遞配送員又會增加物流公司的人工成本。此外，人工送達快遞方式存在著出錯率高、送達時間不穩定等問題。這些現實問題催生了對物流“最后一公里”的配送方式的研究。

隨著人工智能的發展，包括無人駕駛汽車在內的各類智能自動控制設備在社會生活的各領域得到了廣泛的應用。使用無人控制的自動行駛小車，完成物流最后的配送環節，有效緩解快遞配送員人手不足的問題，并減少出錯率，顯得尤為有價值。而在現實環境中的復雜道路環境，如何保證自動行駛的配送小車在行駛過程中的安全性無疑是首要考慮目標。由于道路交通環境復雜、多變，無法預先設定，因此需要無人控制的配送小車具有自主學習能力，通過與外界環境交互而進行學習，隨著道路環境的變化改變行進策略。目前的無人控制小車主要采用雷達傳感器等方式測量汽車與障礙物之間的距離，該控制方法成本較高，使之很難在無人駕駛的配送小車上大面積推廣。

發明內容

本發明目的是：提供一種基于深度Q網絡配送小車的自動行駛控制方法，通過對控制方法的改良，通過自我學習能夠更快的適應新的環境，保證策略更新的有效性，實現自動駕駛，并在其過程中能夠充分利用之前經驗有效處理問題。

本發明的技術方案是：一種基于深度Q網絡配送小車的自動行駛控制方法，包括傳感系統、控制系統、驅動系統及電力系統，所述傳感系統采集環境信息和電力系統信息，并將環境信息和電力系統信息傳入控制系統，所述控制系統根據接收到的信息通過自我學習控制方法來處理，再由傳感系統接收控制信息后控制配送小車的運動狀態，其自我學習控制方法包括如下步驟：

⑴通過傳感系統獲取環境信息，包括視覺環境信息和非視覺信息；

⑵根據所述步驟⑴中獲取的環境信息，初始化神經網絡參數，包括環境狀態信息和獎賞信息，并初始化強化學習算法的各項參數；

⑶對周邊環境反饋的圖像信息進行處理，通過數字化處理將圖像信息處理為灰度圖像，使用深度卷積網絡進行特征提取和訓練，將高維度的環境視覺信息轉換成低緯度的特征信息，低維度特征信息與所述非視覺信息作為當前值網絡和目標值網絡的輸入狀態s_t；

⑷在狀態s_t下，根據當前值網絡利用強化學習算法中的動作值函數Q(s,a)計算獲得行動a_t，配送小車執行行動a_t后，獲得新的環境狀態s_t+1和立即獎賞r_t；

⑸更新當前值網絡和目標值網絡的參數，采用隨機小批量梯度下降更新方式更新參數；

所述當前值網絡損失函數計算方式：其中表示下一個狀態下的狀態動作值，Q(s,a；θ_i)為當前狀態下的狀態動作值，γ為回報函數的折扣因子，γ(0≤γ≤1)，E()為梯度下降算法中的損失函數，r為立即獎賞值，θ表示網絡參數；

所述目標值網絡在每執行N步后更新為當前值網絡的值；