[發(fā)明專利]一種無人機(jī)飛行員動(dòng)態(tài)行為評估系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010090578.6
• 申請日: 2020-02-13
• 公開（公告）號: CN111240350A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 曹正陽;常明;張明;馬煜
• 申請（專利權(quán)）人: 西安愛生無人機(jī)技術(shù)有限公司
• 主分類號: G05D1/08
• 分類號: G05D1/08;G05D1/10
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 李小靜

1.一種無人機(jī)飛行員動(dòng)態(tài)行為評估系統(tǒng)，其特征在于：包括以下步驟：

步驟一：多傳感器綜合測量心理狀態(tài)：

利用溫度傳感器檢測無人機(jī)飛行員的體溫，用于監(jiān)測無人機(jī)飛行員不同狀態(tài)變化下的體溫分布情況；利用心率傳感器檢測無人機(jī)飛行員的心率，用于監(jiān)測無人機(jī)飛行員任務(wù)操作過程中的不同心率狀態(tài)，如興奮、疲勞狀態(tài)下的心率變化；利用人體動(dòng)作、姿態(tài)檢測的圖像傳感器檢測無人機(jī)飛行員的姿態(tài)行為，用于監(jiān)測無人機(jī)飛行員不同行為狀態(tài)下的姿態(tài)變化；利用面部表情的可見光圖像傳感器檢測無人機(jī)飛行員的面部表情，根據(jù)面部表情的變化檢測無人機(jī)飛行員的心情狀態(tài)；利用眼動(dòng)儀傳感器檢測無人機(jī)飛行員的眼睛關(guān)注度，以及根據(jù)眼睛的閉合情況檢測眼睛疲勞狀態(tài)；利用人腦意念傳感器檢測無人機(jī)飛行員是否注意力集中。

步驟二：無人機(jī)飛行模擬器視景子系統(tǒng)建模：

模擬器視景子系統(tǒng)中的建模對無人機(jī)訓(xùn)練駕駛員的使用體驗(yàn)及評估質(zhì)量具有重要的作用，主要是根據(jù)研究真實(shí)地形、真實(shí)任務(wù)的特征和構(gòu)造來建立高度仿真的模型可實(shí)現(xiàn)特殊情況下情景模擬，如地形障礙、發(fā)動(dòng)機(jī)失效等特情；為了保證仿真的數(shù)據(jù)的高度仿真性，在地形的表面需要加入特征物，如建筑物、樹木、運(yùn)動(dòng)的鳥類，進(jìn)而生成全部的視景數(shù)據(jù)庫；為了特情仿真的真實(shí)性，會在不同場景中出現(xiàn)不同的特情，并隨著飛行員的不同操作熟悉程度，選擇與提升特情的復(fù)雜度；

步驟三：基于深度學(xué)習(xí)的數(shù)據(jù)庫搭建：

通過無人機(jī)飛行員在無人機(jī)飛行模擬器視景子系統(tǒng)飛行，將多傳感器綜合測量采集的數(shù)據(jù)為樣本建立特征空間樣本庫，并結(jié)合真實(shí)無人機(jī)飛行過程中采集的、統(tǒng)計(jì)的飛行狀態(tài)與指令操作等信息，采用神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)算法搭建數(shù)據(jù)庫；

步驟四：無人機(jī)操作員態(tài)勢感知與決策水平分析評估算法的智能評估技術(shù)：

采用基于貝葉斯網(wǎng)絡(luò)的態(tài)勢感知水平分析算法和基于梯度提升樹的態(tài)勢感知水平評估算法的組合算法，建立特征數(shù)據(jù)樣本和結(jié)果類型判定之間的映射關(guān)系，實(shí)現(xiàn)多種特征數(shù)據(jù)與單一結(jié)果判定一一對應(yīng)的映射關(guān)系；

步驟五：評估結(jié)果輸出：

根據(jù)多種特征數(shù)據(jù)與單一結(jié)果判定一一對應(yīng)的映射關(guān)系，給出無人機(jī)飛行員的狀態(tài)評估，估計(jì)無人機(jī)飛行員當(dāng)前是否適合該任務(wù)，以及對無人機(jī)任務(wù)控制站任務(wù)可做出相應(yīng)的調(diào)整。

2.如權(quán)利要求1所述的一種無人機(jī)飛行員動(dòng)態(tài)行為評估系統(tǒng)，其特征在于：步驟三包括以下步驟：

(1)構(gòu)建多個(gè)維度的特征數(shù)據(jù)樣本庫，通過動(dòng)做采集傳感器采集到的無人機(jī)飛行員操作數(shù)據(jù)和視頻追蹤技術(shù)反演出的無人機(jī)飛行數(shù)據(jù)進(jìn)行融合作為操作狀態(tài)特征數(shù)據(jù)；由反映了飛行員關(guān)注度的腦電波傳感器和眼動(dòng)儀傳感器、反映了飛行員心情的體溫和面部表情可見光傳感器以及反映了飛行員疲勞程度的心率傳感器和姿態(tài)動(dòng)作傳感器輸出的各個(gè)特征數(shù)據(jù)進(jìn)行融合作為心理狀態(tài)的特征數(shù)據(jù)，以這兩種類型的特征數(shù)據(jù)為樣本建立特征空間樣本庫；

(2)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)算法，通過不斷采集不同試飛行員的特征數(shù)據(jù)樣本，豐富數(shù)據(jù)樣本庫的樣本內(nèi)容，強(qiáng)化深度學(xué)習(xí)能力。

3.如權(quán)利要求1所述的一種無人機(jī)飛行員動(dòng)態(tài)行為評估系統(tǒng)，其特征在于：步驟四包括以下步驟：

(1)基于貝葉斯網(wǎng)絡(luò)的態(tài)勢感知水平算法，在訓(xùn)練過程根據(jù)無人機(jī)操作先驗(yàn)知識對無人機(jī)操作員態(tài)勢感知及態(tài)勢感知相關(guān)要素的邏輯關(guān)系定義貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)無人機(jī)操作員態(tài)勢感知評估實(shí)驗(yàn)的實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)；在測試、推理過程根據(jù)無人機(jī)操作員態(tài)勢感知己知相關(guān)因素的觀測結(jié)果，對未知的相關(guān)要素、態(tài)勢感知水平進(jìn)行推測；在歸因分析的過程中，根據(jù)相關(guān)要素與態(tài)勢感知節(jié)點(diǎn)關(guān)聯(lián)和概率分布，對態(tài)勢感知相關(guān)因素進(jìn)行排序，對態(tài)勢感知形成的原因進(jìn)行分析；

(2)基于梯度提升樹的態(tài)勢感知水平評估算法對未知因素(缺失數(shù)據(jù))根據(jù)其先驗(yàn)概率分布進(jìn)行采樣，根據(jù)采樣結(jié)果補(bǔ)全對數(shù)據(jù)維度進(jìn)行補(bǔ)全，完整的數(shù)據(jù)輸入梯度提升樹模型輸出態(tài)勢感知的評估結(jié)果；

(3)最后兩個(gè)算法的評估結(jié)果基于融合策略進(jìn)行融合形成最終的無人機(jī)操作員態(tài)勢感知水平評估結(jié)果，系統(tǒng)將無人機(jī)操作員態(tài)勢感知水平形成的歸因分析結(jié)果和無人機(jī)操作員態(tài)勢感知水平的評估結(jié)果輸出。