[發明專利]基于眼球追蹤的智能駕駛評估訓練方法、系統

有效

• 申請號: 202110693938.6
• 申請日: 2021-06-22
• 公開（公告）號: CN113408431B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 于東壯
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V10/77;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G09B9/04;G09B9/052
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 郭曼

1.一種基于眼球追蹤的智能駕駛評估訓練方法，其特征在于，包括：

獲取駕駛人員的眼球追蹤樣本信息、車輛駕駛樣本信息，將所述眼球追蹤樣本信息、所述車輛駕駛樣本信息與駕駛人員的駕駛等級結果相映射以作為樣本數據；

將所述樣本數據輸入PNN模型以生成駕駛測評模型；將所述樣本數據輸入PNN模型以生成駕駛測評模型的過程，包括：

將所述眼球追蹤樣本信息的三維向量作為第一數據；將所述車輛運行軌跡與所述運行車速構成的四維向量作為第二數據；將所述車輛運行軌跡、所述運行車速與障礙物信息構成的五維向量作為第三數據；

將所述第一數據、所述第二數據、所述第三數據作為所述PNN模型的輸入量，并將所述駕駛等級結果作為所述PNN模型的期望輸出矢量進行反復訓練以獲取預測駕駛模型；

通過已知駕駛等級結果的車輛駕駛數據對所述預測駕駛模型進行測試驗證；其中，若所述預測駕駛模型根據所述車輛駕駛數據輸出的預測結果與所述已知的駕駛等級結果不一致，則繼續對所述預測駕駛模型進行反復訓練直至所述預測駕駛模型根據所述車輛駕駛數據輸出的預測結果與所述已知的駕駛等級結果相一致；若所述預測駕駛模型根據所述車輛駕駛數據輸出的預測結果與所述已知的駕駛等級結果相一致，則將所述預測駕駛模型作為駕駛測評模型；

采集用戶的眼球追蹤信息和車輛駕駛信息，并通過所述駕駛測評模型對所采集的眼球追蹤信息和車輛駕駛信息進行數據分析以獲取駕駛測評結果；

根據所述駕駛測評結果生成駕駛訓練模型以針對所述用戶進行駕駛訓練。

2.如權利要求1所述的基于眼球追蹤的智能駕駛評估訓練方法，其特征在于，獲取駕駛人員的眼球追蹤樣本信息、車輛駕駛樣本信息的過程，包括：

通過VR頭戴追蹤所述駕駛人員的眼球以獲取所述駕駛人員的眼球追蹤樣本信息，并通過VR虛擬駕駛游戲獲取所述駕駛人員根據所述VR虛擬駕駛游戲中的指令進行駕駛操作的車輛駕駛樣本信息。

3.如權利要求2所述的基于眼球追蹤的智能駕駛評估訓練方法，其特征在于，通過VR虛擬駕駛游戲獲取所述駕駛人員根據所述VR虛擬駕駛游戲中的指令進行駕駛操作的車輛駕駛樣本信息的過程，包括：

通過unity3d創建VR虛擬駕駛游戲；

在所述VR虛擬駕駛游戲中創建駕駛情境和障礙關卡；

基于所述駕駛情境和所述障礙關卡發出關于車速及姿勢的指令；

獲取所述駕駛人員根據所述指令進行駕駛操作的車輛駕駛樣本信息。

4.如權利要求1所述的基于眼球追蹤的智能駕駛評估訓練方法，其特征在于，

所述眼球追蹤樣本信息包括眼球運動數據和瞳孔移動數據。

5.如權利要求1所述的基于眼球追蹤的智能駕駛評估訓練方法，其特征在于，

所述車輛駕駛樣本信息包括車輛運行軌跡、運行車速、障礙信息和駕駛結果。

6.如權利要求3所述的基于眼球追蹤的智能駕駛評估訓練方法，其特征在于，采集用戶的眼球追蹤信息和車輛駕駛信息，并通過所述駕駛測評模型對所采集的眼球追蹤信息和車輛駕駛信息進行數據分析以獲取駕駛測評結果的過程，包括：

將所述駕駛測評模型存儲在所述VR虛擬駕駛游戲中以生成VR虛擬駕駛測試模塊；

通過VR頭戴追蹤所述用戶的眼球以獲取所述用戶的眼球追蹤信息，通過所述VR虛擬駕駛測試模塊中的VR虛擬駕駛游戲獲取所述用戶的車輛駕駛信息；

通過所述VR虛擬駕駛測試模塊中的駕駛測評模型根據所述眼球追蹤信息與所述車輛駕駛信息獲取所述用戶的駕駛測評結果；其中，所述駕駛測評結果至少包括所述用戶的駕駛等級結果。

7.如權利要求5所述的基于眼球追蹤的智能駕駛評估訓練方法，其特征在于，根據所述駕駛測評結果生成駕駛訓練模型以針對所述用戶進行駕駛訓練的過程，包括：

根據所述駕駛測評結果對所述用戶的車速和障礙物進行放大或縮小調節以生成駕駛訓練模型；

基于所述駕駛訓練模型獲取所述用戶的訓練結果，并根據所述訓練結果對所述駕駛訓練模型進行參數調整以針對所述用戶進行駕駛訓練。