[發明專利]適用于智能汽車的自主決策方法及系統、裝置、終端

在審

• 申請號: 202111142980.5
• 申請日: 2021-09-28
• 公開（公告）號: CN113807503A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 高洪波;朱菊萍;何希;王成才
• 申請（專利權）人: 中國科學技術大學先進技術研究院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 許青華

本發明提供了一種適用于智能汽車的自主決策方法，包括根據狀態選擇動作集合A中的動作，得到下一個狀態，然后計算出回報R，在Double DQN框架下，給當前Q網絡與目標Q網絡構建相同的CNN網絡用于訓練；利用貪婪策略選擇動作獲得待訓練的樣本，動作從步驟S1中的動作集合A中選擇，樣本構成reply池；待樣本達到設定數量后，從reply池中根據設定閾值選擇樣本，隨后進行訓練，根據梯度下降法，由當前Q網絡與目標Q網絡之間誤差進行反向傳播優化當前Q網絡參數；樣本訓練之后應用至載體進行自主決策。本發明對不同信息構建不同網絡，有利于保證各種信息的本質特征，避免所有信息通過同一網絡，特征混雜難以處理。

技術領域

本發明涉及自動駕駛技術領域，具體地，涉及一種適用于智能汽車的自主決策方法及系統、裝置、終端。

背景技術

近年來，隨著以人工智能為代表的新一輪科技革命的崛起，推動了傳統制造業進入快速轉型升級發展。傳統的汽車產業作為各類先進機電系統技術集成的典型代表，其智能化也隨著這輪科技革命逐漸成為發展趨勢，成為研究熱點。同時，自動駕駛汽車也為解決汽車交通安全、交通擁堵、燃油消耗和空氣污染問題提供了新的解決方案。

駕駛行為決策是智能車的重要功能模塊，也是自主駕駛技術研究的重點和難點。駕駛行為決策是根據感知系統得到的環境信息和當前的車輛狀態做出安全合理的駕駛操作，比如車輛跟馳、換道、超車、匯入車流等，其性能好壞是衡量智能車輛智能化水平的重要指標。

現有技術中對駕駛決策行為采用的是基于規則的技術方案，存在的缺點是魯棒性不足，本申請對技術方案的決策方法進行了改進，解決了現有技術不能解決的魯棒性不足的技術問題，將現有技術方案應用到本申請中也不能解決，是因為現有技術無法實現對實際環境的精確模擬。

經過檢索，專利文獻CN110406530B公開了一種自動駕駛方法、裝置、設備和車輛。包括：獲取環境感知數據和車輛狀態參數；將所述環境感知數據和車輛狀態參數輸入第一動作參數識別模型進行離散型動作參數識別，得到離散型動作的目標參數；將所述環境感知數據和車輛狀態參數輸入第二動作參數識別模型進行連續型動作參數識別，得到連續型動作的目標參數；當所述離散型動作的目標參數和所述連續型動作的目標參數匹配時，基于所述連續型動作的目標參數和所述離散型動作的目標參數控制車輛自動駕駛。該現有技術是基于車輛的駕駛數據和建立的學習模型實現車輛自動駕駛的端對端訓練，實現車輛在復雜場景中離散型動作和連續型動作的控制參數的輸出、匹配和同步；但是不足之處在于如何合理的離散化連續型模型，或者如何直接構建合理的離散型模型是十分困難的。

專利文獻CN110893860B公開了一種智能駕駛方法及智能駕駛系統，包括：獲取車輛當前時刻的特征參數以及車輛在未來預設時間段內駕駛場景的道路屬性；其中，所述特征數可以包括結構化語義信息、道路屬性以及交通態勢頻譜；比較當前時刻的特征參數與場景特征庫中標準場景的特征參數，以及比較車輛在未來預設時間段內駕駛場景的道路屬性與場景特征庫中標準場景的道路屬性，根據比較結果確定每個場景類與所述車輛當前時刻的駕駛場景的總相似度；將N個場景類中總相似度最高的第一場景類確定為當前時刻的駕駛場景；根據確定結果控制車輛進行智能駕駛。該現有技術的不足之處在于為特征參數和道路屬性等都是基于規則制定者的經驗選定，魯棒性不足。

因此，亟需研發設計一種對不同信息通過不同網絡進行處理實現自主決策的方法和系統。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種適用于智能汽車的自主決策方法及系統、裝置、終端。

根據本發明提供的一種適用于智能汽車的自主決策方法，包括如下步驟：

步驟S1：構建駕駛行為的狀態集合S、駕駛行為的動作集合A和駕駛行為的回報集合R，根據狀態選擇動作集合A中的動作，得到下一個狀態，然后計算出回報R，在Double DQN框架下，給當前Q網絡與目標Q網絡構建相同的CNN網絡用于訓練；