[發明專利]基于眼球追蹤的智能駕駛評估訓練方法、系統

有效

• 申請號: 202110693938.6
• 申請日: 2021-06-22
• 公開（公告）號: CN113408431B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 于東壯
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V10/77;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G09B9/04;G09B9/052
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 郭曼

本發明提供一種基于眼球追蹤的智能駕駛評估訓練方法、系統，首先獲取駕駛人員的樣本數據，再將該樣本數據輸入PNN模型以生成駕駛測評模型，而后采集用戶的眼球追蹤信息和車輛駕駛信息，并通過該駕駛測評模型對所采集的眼球追蹤信息和車輛駕駛信息進行數據分析以獲取駕駛測評結果，再根據該駕駛測評結果生成駕駛訓練模型以針對該用戶進行駕駛訓練，即通過獲取的眼球運動數據體現出用戶的觀察習慣和預判能力，而后通過駕駛測評模型對包含眼球運動數據在內的數據進行處理和分析對用戶駕駛進行評估，同時生成適合該用戶的訓練參數，以對用戶進行訓練依靠眼球追蹤數據，能夠結合VR設備對駕駛進行訓練提高用戶的駕駛觀察能力。

技術領域

本發明涉及虛擬現實技術領域，更為具體地，涉及一種基于眼球追蹤的智能駕駛評估訓練方法系統。

背景技術

由于科技的進步，市場需求的多元化發展，虛擬現實系統正變得越來越普遍，應用在許多領域，如電腦游戲，健康和安全，工業和教育培訓。舉幾個例子，混合虛擬現實系統正在被整合到移動通訊設備、游戲機、個人電腦、電影院，主題公園，大學實驗室，學生教室，醫院鍛煉健身室等生活各個角落。

虛擬現實或者混合現實頭盔顯示器(HMD)通常用于體驗虛擬環境，各種HMD包括捕捉用戶環境圖像(例如，場景)的場景相機和向用戶顯示圖像的顯示器。

虛擬現實技術可以創建虛擬的計算機仿真系統給用戶帶來接近真實世界的體驗，因此虛擬現實技也可以進行駕駛訓練，現在市場上也已經出現了基于虛擬現實系統實現的駕駛訓練設備，但上述駕駛訓練設備不能根據眼球跟蹤信息及駕駛實況進行深入數據分析，導致駕駛訓練設備評估、訓練不準確。

因此，亟需一種能夠對用戶駕駛進行評估，同時生成適合該用戶的訓練參數，對用戶進行訓練的基于眼球追蹤的智能駕駛評估訓練方法、系統。

發明內容

鑒于上述問題，本發明的目的是提供一種基于眼球追蹤的智能駕駛評估訓練方法、系統，以解決現有駕駛訓練設備不能根據眼球跟蹤信息及駕駛實況進行深入數據分析，導致駕駛訓練設備評估、訓練不準確的問題。

本發明提供的一種基于眼球追蹤的智能駕駛評估訓練方法，包括：

獲取駕駛人員的眼球追蹤樣本信息、車輛駕駛樣本信息，將所述眼球追蹤樣本信息、所述車輛駕駛樣本信息與駕駛人員的駕駛等級結果相映射以作為樣本數據；

將所述樣本數據輸入PNN模型以生成駕駛測評模型；

采集用戶的眼球追蹤信息和車輛駕駛信息，并通過所述駕駛測評模型對所采集的眼球追蹤信息和車輛駕駛信息進行數據分析以獲取駕駛測評結果；

根據所述駕駛測評結果生成駕駛訓練模型以針對所述用戶進行駕駛訓練。

優選地，獲取駕駛人員的眼球追蹤樣本信息、車輛駕駛樣本信息的過程，包括：

通過VR頭戴追蹤所述駕駛人員的眼球以獲取所述駕駛人員的眼球追蹤樣本信息，并通過VR虛擬駕駛游戲獲取所述駕駛人員根據所述VR虛擬駕駛游戲中的指令進行駕駛操作的車輛駕駛樣本信息。

優選地，通過VR虛擬駕駛游戲獲取所述駕駛人員根據所述VR虛擬駕駛游戲中的指令進行駕駛操作的車輛駕駛樣本信息的過程，包括：

通過unity3d創建VR虛擬駕駛游戲；

在所述VR虛擬駕駛游戲中創建駕駛情境和障礙關卡；

基于所述駕駛情境和所述障礙關卡發出關于車速及姿勢的指令；

獲取所述駕駛人員根據所述指令進行駕駛操作的車輛駕駛樣本信息。

優選地，所述眼球追蹤樣本信息包括眼球運動數據和瞳孔移動數據。

優選地，所述車輛駕駛樣本信息包括車輛運行軌跡、運行車速、障礙信息和駕駛結果。