[發(fā)明專利]人在回路的人機(jī)共駕仿真系統(tǒng)及其應(yīng)用

在審

• 申請(qǐng)?zhí)枺?/td>: 202210830472.4
• 申請(qǐng)日: 2022-07-15
• 公開（公告）號(hào): CN115202479A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 蘇遠(yuǎn)歧;李妍
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/0484;G06V10/75;G06V20/59;G06V40/20
• 代理公司: 西安智大知識(shí)產(chǎn)權(quán)代理事務(wù)所 61215
• 代理人: 何會(huì)俠

本發(fā)明公開了一種人在回路的人機(jī)共駕仿真系統(tǒng)及其應(yīng)用，該系統(tǒng)包括仿真駕駛模擬器、駕駛艙、環(huán)幕、眼動(dòng)儀傳感器和Kinect傳感器；仿真駕駛模擬器利用仿真駕駛模擬軟件內(nèi)的道路交通環(huán)境數(shù)據(jù)集，構(gòu)建高保真度的仿真交通環(huán)境，并顯示在環(huán)幕上；駕駛艙由模擬方向盤、模擬腳踏板以及駕駛員組成；環(huán)幕為一種環(huán)境視聽模擬設(shè)備；眼動(dòng)儀傳感器用于捕捉駕駛員在駕駛過程中的注視點(diǎn)；Kinect傳感器用于捕捉駕駛員在駕駛過程中的姿態(tài)。本發(fā)明還公開了人在回路的人機(jī)共駕仿真系統(tǒng)構(gòu)建模擬駕駛數(shù)據(jù)集的方法以及構(gòu)建的模擬駕駛數(shù)據(jù)集的使用方法，其中模擬駕駛數(shù)據(jù)集中除了車外駕駛環(huán)境數(shù)據(jù)，還加入了駕駛員的行為數(shù)據(jù)和決策數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明屬于人在回路的人機(jī)共駕技術(shù)領(lǐng)域，具體涉及人在回路的人機(jī)共駕仿真系統(tǒng)及其應(yīng)用。

背景技術(shù)

人機(jī)共駕作為人在回路的一個(gè)典型應(yīng)用場(chǎng)景，通過將人的高級(jí)認(rèn)知與推理能力與機(jī)器智能相組合實(shí)現(xiàn)智能的增強(qiáng)，這其中對(duì)駕駛員行為的理解是實(shí)現(xiàn)智能增強(qiáng)的關(guān)鍵技術(shù)之一，采集車外場(chǎng)景、駕駛員行為的同步數(shù)據(jù)并構(gòu)建面向人機(jī)共駕的數(shù)據(jù)集是發(fā)展人在回路混合增強(qiáng)智能的重要基礎(chǔ)。目前的駕駛數(shù)據(jù)集主要集中在場(chǎng)景數(shù)據(jù)上，駕駛員數(shù)據(jù)的缺乏限制了人機(jī)共駕系統(tǒng)了解駕駛員內(nèi)部狀態(tài)的能力。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)存在的問題，本發(fā)明的目的在于提供一種人在回路的人機(jī)共駕仿真系統(tǒng)及其應(yīng)用，人在回路的人機(jī)共駕仿真系統(tǒng)是一種通過虛擬仿真的手段，利用仿真駕駛模擬器、駕駛艙、環(huán)境視聽模擬設(shè)備及相關(guān)人車檢測(cè)設(shè)備，重現(xiàn)“人-車-環(huán)境”在車輛駕駛中的相互作用的新型測(cè)試系統(tǒng)。在此基礎(chǔ)上，提出了一種針對(duì)駕駛員行為和場(chǎng)景內(nèi)容的數(shù)據(jù)采集方案，并構(gòu)建了相應(yīng)的數(shù)據(jù)集并對(duì)數(shù)據(jù)集如何使用進(jìn)行了說明。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

一種人在回路的人機(jī)共駕仿真系統(tǒng)，包括仿真駕駛模擬器、駕駛艙、環(huán)幕、眼動(dòng)儀傳感器和Kinect傳感器；

仿真駕駛模擬器，利用仿真駕駛模擬軟件內(nèi)的道路交通環(huán)境數(shù)據(jù)集，構(gòu)建高保真度的仿真交通環(huán)境，并顯示在環(huán)幕上；要求仿真駕駛模擬器能夠模擬RGB傳感器和深度傳感器；

駕駛艙，由模擬方向盤、模擬腳踏板以及駕駛員組成；

環(huán)幕，為一種環(huán)境視聽模擬設(shè)備；

眼動(dòng)儀傳感器，用于捕捉駕駛員在駕駛過程中的注視點(diǎn)；

Kinect傳感器，用于捕捉駕駛員在駕駛過程中的姿態(tài)。

優(yōu)選的，所述駕駛艙與環(huán)幕的距離為三米，駕駛艙始終正對(duì)著環(huán)幕的中部位置；Kinect傳感器放置在駕駛員的左前方兩米的位置。

基于所述的人在回路的人機(jī)共駕仿真系統(tǒng)構(gòu)建模擬駕駛數(shù)據(jù)集的方法，包括以下步驟：

S1、基于人在回路的人機(jī)共駕仿真系統(tǒng)采集模擬駕駛數(shù)據(jù)；

S2、對(duì)模擬駕駛數(shù)據(jù)進(jìn)行處理；

S3、構(gòu)建模擬駕駛數(shù)據(jù)集，同一次采集到的數(shù)據(jù)經(jīng)過處理后都必須存儲(chǔ)在同一個(gè)文件夾中，且每種類型的數(shù)據(jù)在時(shí)序上相互對(duì)應(yīng)。

進(jìn)一步的，步驟S1具體為：

S101、啟動(dòng)仿真駕駛模擬器：在主機(jī)上啟動(dòng)仿真駕駛模擬器的服務(wù)端，在服務(wù)端上設(shè)置好駕駛環(huán)境信息；啟動(dòng)仿真駕駛模擬器的客戶端連接到服務(wù)端上；

S102、按序啟動(dòng)各類傳感器：先開啟Kinect傳感器，再同時(shí)開啟眼動(dòng)儀傳感器和仿真駕駛模擬器內(nèi)部的傳感器；

S103、模擬駕駛數(shù)據(jù)的采集：仿真駕駛模擬器中的RGB傳感器和深度傳感器記錄車外駕駛環(huán)境數(shù)據(jù)，眼動(dòng)儀傳感器記錄駕駛員的注視點(diǎn)數(shù)據(jù)，Kinect傳感器記錄駕駛員的動(dòng)作數(shù)據(jù)，仿真駕駛模擬器記錄駕駛員對(duì)方向盤、油門和剎車的連續(xù)控制值、實(shí)時(shí)位置以及模擬環(huán)境中的地圖數(shù)據(jù)，以及記錄每種數(shù)據(jù)的時(shí)間戳；