[發明專利]駕駛員行為建模系統

有效

• 申請號: 201810662040.0
• 申請日: 2018-06-25
• 公開（公告）號: CN108791302B
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 鄒啟杰;李昊宇;裴騰達
• 申請（專利權）人: 大連大學
• 主分類號: B60W40/08
• 分類號: B60W40/08;B60W50/00;G06K9/62;G06N3/04
• 代理公司: 大連智高專利事務所(特殊普通合伙) 21235
• 代理人: 蓋小靜

本發明公開了一種駕駛員行為建模系統，具體包括特征提取器，提取構建回報函數特征；回報函數生成器，獲取構建駕駛策略所需的回報函數；駕駛策略獲取器，完成駕駛策略的構建；判定器，判斷獲取器構建的最優駕駛策略，其是否滿足評判標準；若不滿足，則重新構建回報函數，重復構建最優駕駛策略，反復迭代，直到滿足評判標準；最終獲得描述真實駕駛示范的駕駛策略。本申請可以對于新的狀態場景進行適用，來獲得其對應動作，大大提高了建立的駕駛員行為模型的泛化能力，適用場景更廣，魯棒性更強。

技術領域

本發明涉及一種建模方法，具體說是駕駛員行為建模系統。

背景技術

自主駕駛作為智能交通領域的一個重要部分。受當前技術等原因，自主車依舊需要智能駕駛系統(智能輔助駕駛系統)和人類駕駛員相互協作以完成駕駛任務。而在這個過程中，無論是更好的量化駕駛員的信息以供智能系統決策，還是通過區分駕駛員的不同為人們提供個性化的服務，駕駛員建模都是必不可少的重要步驟。

在當前有關駕駛員建模的方法中，強化學習方法因為對于駕駛員在車輛駕駛這樣具有大規模連續空間以及多個優化目標的復雜序貫決策問題，有著很好的解決效果，于是也是一種針對駕駛員行為建模有效的方法。強化學習作為基于MDP的問題解決方法，需要和環境交互，采取行動以獲取來自環境的評價性質的反饋信號即回報(reward)，并使長期的回報最大化。

通過對于現有文獻的檢索發現，現有的對于駕駛員行為建模中，對于回報函數的設置方法，主要包括：傳統的由研究人員手動針對不同場景狀態進行設置的方法，以及借助逆向強化學習的方法來設置的方法。傳統的方法對于研究人員的主觀性依賴極大，回報函數的好壞取決于研究人員的能力與經驗。同時因為在車輛行駛過程中，為了正確的設置回報函數，需要平衡大量的決策變量，這些變量存在極大的不可共度性甚至矛盾性，而研究人員往往無法設計出能夠平衡各項需求的回報函數。

而逆向強化學習借助駕駛示范數據，為各類駕駛特征分配適合的權重，可以自動學習得到所需要的回報函數，進而解決了原有的人為決策的不足。但傳統逆向強化學習方法，只能對于駕駛示范數據中已存在的場景狀態進行學習，而實際駕駛的時候，因為天氣、景物等因素的不同，真實駕駛場景往往超越駕駛示范范圍。因而，逆向強化學習的方法解決將駕駛示范數據中場景和決策動作的關系表現出泛化能力不足的問題。

現有基于強化學習理論的駕駛員行為建模方法主要有兩種思路：思路一，采用傳統強化學習的方法，其回報函數的設置依賴研究人員對于場景的分析、整理、篩選和歸納，進而獲得到一系列駕駛決策有關的特征，如：車前距、是否遠離路緣、是否遠離行人、合理速度、變道頻率等；再根據駕駛場景需求，設計一系列的實驗來求取這些特征在對應場景環境下的回報函數中的權重占比，最后完成對于回報函數的整體設計，而作為描述駕駛員駕駛行為的模型。思路二，基于概率模型建模方法，采用最大熵逆向強化學習求解駕駛行為特征函數。首先假定存在潛在的、特定的一個概率分布，產生了駕駛的示范軌跡；進而，需要來找到一個能夠擬合駕駛示范的概率分布，而求取這個概率分布的問題可轉化為非線性規劃問題，即：

max-plogp

∑P＝1

P代指的就是示范軌跡的概率分布，通過上面的式子求解得到概率分布后，由

求取得到相關參數，即可求得回報函數r＝θ^Tf(s_t)。

傳統的駕駛員駕駛行為模型，利用已知駕駛數據分析、描述和推理駕駛行為，然而已采集的駕駛數據并不能完全覆蓋無窮無盡的駕駛行為特征，更不可能獲取全部狀態對應動作的情況。在實際駕駛場景下，因為天氣、場景、物體的不同，駕駛狀態有著眾多可能，遍歷全部的狀態是不可能的事情。因此傳統駕駛員駕駛行為模型泛化能力弱，模型假設條件多，魯棒性差。