[發明專利]一種基于強化學習的車輛路徑規劃方法在審
| 申請號： | 202010280643.1 | 申請日： | 2020-04-10 |
| 公開（公告）號： | CN111415048A | 公開（公告）日： | 2020-07-14 |
| 發明（設計）人： | 高健;蔣佳浩 | 申請（專利權）人： | 大連海事大學 |
| 主分類號： | G06Q10/04 | 分類號： | G06Q10/04;G06Q10/08;G06Q50/26;G06N3/04;G06N3/08;G06N20/00 |
| 代理公司： | 大連東方專利代理有限責任公司 21212 | 代理人： | 李馨 |
| 地址： | 116026 遼*** | 國省代碼： | 遼寧;21 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 強化 學習 車輛 路徑 規劃 方法 | ||
1.一種基于強化學習的車輛路徑規劃方法，其特征在于，將客戶節點的狀態序列作為輸入信息，將輸入信息送往決策網絡，決策網絡依據動作值函數選擇動作并計算規劃車輛行進路線；
所述決策網絡的工作過程包括：
S1、初始化所有節點的狀態序列，所述狀態序列包括節點訪問狀態和當前時刻信息；
S2、采用卷積神經網絡編碼當前狀態序列，提取當前狀態序列的特征向量輸入到全連接神經網絡，計算輸出當前狀態下所有動作對應的Q值；
S3、采用e-greedy策略根據每個動作對應的Q值選擇動作a，a∈A,其中A為動作集；
S4、在當前環境狀態序列下執行動作a，計算得到下一個訪問節點，訪問該節點并得到新的狀態序列；
S5、若所有客戶節點已全部訪問，則轉到步驟S6，否則更新當前狀態序列，轉到步驟S2；
S6、根據訓練數據構成的有向圖預估決策得到的路徑序列時長；
S7、修改探索記錄中每個時間步的獎勵為路徑序列時長的負數；
S8、將本輪探測的所有探索記錄存入經驗回放集合R中；
S9、從經驗回放集合R中隨機采樣n條數據，基于DQN算法優化決策網絡參數。
2.根據權利要求1所述的基于強化學習的車輛路徑規劃方法，其特征在于，所述時段加權有向圖根據歷史配送數據構建，且所述時段加權有向圖各邊的始點為路線起始節點，終點為到達節點，權重為花費時長。
3.根據權利要求1或2所述的基于強化學習的車輛路徑規劃方法，其特征在于，所述狀態序列表示為S＝{si,i＝1,...,n}，si＝(y,t)表示節點i在t時刻的狀態，其中節點訪問狀態y包含兩種：已被訪問表示為0，未被訪問表示為1，t表示當前時刻。
4.根據權利要求3所述的基于強化學習的車輛路徑規劃方法，其特征在于，S4中“得到新的狀態序列”包括：
a.僅更新被訪問的節點的節點訪問狀態，其余節點的節點訪問狀態不變；
b.更新所有節點的當前時刻信息。
5.根據權利要求1所述的基于強化學習的車輛路徑規劃方法，其特征在于，所述動作集A包括3個啟發式算法：
0號策略為考慮全部未訪問節點的LKH算法；
1號策略為考慮半徑為r的圓形區域內未被訪問節點的LKH算法；
2號策略為貪婪策略。
6.根據權利要求1所述的基于強化學習的車輛路徑規劃方法，其特征在于，所述決策網絡的工作過程還包括：S10、每隔e輪，測試模型表現，具體為：
從所有客戶節點中隨機選取n個節點,其中N為所有客戶節點數，采用當前訓練得到的模型決策規劃配送路線，預估計算路程時長，與對比算法計算得到的路程序列預估時長進行比較，評估當前模型優劣，所述對比算法為LKH算法、2-opt算法或者貪婪算法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于大連海事大學，未經大連海事大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010280643.1/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：全自動化式板鍵機
- 下一篇：一種人臉識別方法，裝置及存儲設備
- 同類專利
- 專利分類
G06Q 專門適用于行政、商業、金融、管理、監督或預測目的的數據處理系統或方法；其他類目不包含的專門適用于行政、商業、金融、管理、監督或預測目的的處理系統或方法
G06Q10-00 行政；管理
G06Q10-02 .預定，例如用于門票、服務或事件的
G06Q10-04 .預測或優化，例如線性規劃、“旅行商問題”或“下料問題”
G06Q10-06 .資源、工作流、人員或項目管理，例如組織、規劃、調度或分配時間、人員或機器資源；企業規劃；組織模型
G06Q10-08 .物流，例如倉儲、裝貨、配送或運輸；存貨或庫存管理，例如訂貨、采購或平衡訂單
G06Q10-10 .辦公自動化，例如電子郵件或群件的計算機輔助管理
