[發明專利]一種飛行員聽覺注意反應時測量及預測方法

有效

• 申請號: 202010695284.6
• 申請日: 2020-07-19
• 公開（公告）號: CN112000837B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 于薇薇;王海洋;蔡聞峰;姜民
• 申請（專利權）人: 西北工業大學
• 主分類號: G06F16/683
• 分類號: G06F16/683;G06F16/68;G06F16/35;G06F40/237;G06F40/30;G06N3/04;G06N3/08;G10L15/26;G10L25/24
• 代理公司: 西安匠星互智知識產權代理有限公司 61291
• 代理人: 陳星

1.一種飛行員聽覺注意反應時測量方法，其特征在于：對于某一飛行語音指令，記錄飛行語音指令結束時刻為飛行員完整接收到飛行語音指令的時刻T1；采用視覺注視點采集設備采集飛行員的注視點，得到飛行員在完整接收到飛行語音指令后發生視覺轉移后下一個注視點的開始時刻T2，以T2-T1作為對于該條飛行語音指令的飛行員聽覺注意反應時。

2.根據權利要求1所述一種飛行員聽覺注意反應時測量方法，其特征在于：通過對相應飛行語音指令多次重復試驗測量平均值得到飛行員的聽覺注意反應時。

3.一種飛行員聽覺注意反應時預測方法，其特征在于：包括以下步驟：

步驟1：利用飛行語音指令語音識別方法識別飛行語音指令的文本信息：

步驟1.1：將預設的飛行語音指令字詞音頻文件進行分幀處理得到幀矢量時間序列，再對其中出現的字、詞進行特征提取，生成的特征矢量時間序列作為一個模板，所有在飛行語音指令字詞音頻文件中出現過的字、詞生成的模板組成最終的飛行語音指令模板庫；

步驟1.2：根據飛行語音指令中不同字、詞包含的信息量，將模板庫分成不同的詞表，通過分析飛行語音指令的文法規則建立語義依存關系；

步驟1.3：基于飛行語音指令模板庫和語義依存關系，通過動態時間伸縮匹配方法對輸入的飛行語音指令進行識別，識別得到飛行語音指令的文本信息；

步驟2：建立并訓練聽覺注意反應時預測模型：

步驟2.1：從所有預設的飛行語音指令中提取出關鍵詞，并將這些關鍵詞劃分為不同的主題，每一個主題作為指令模型向量的一個維度；

步驟2.2：對于某個飛行語音指令，通過步驟1識別得到文本信息后，選擇能夠表征這條飛行語音指令的關鍵詞，將這些關鍵詞在指令模型向量所對應主題的維度元素賦值為1，其余沒有出現的主題維度元素賦值為0，得到了該飛行語音指令的指令模型向量；

步驟2.3：通過指令模型向量，將從飛行語音指令中識別的文本轉化為聽覺注意反應時預測模型的輸入樣本，利用輸入樣本以及樣本對應的測量得到的聽覺注意力反應時訓練聽覺注意反應時預測模型；

步驟3：對于新輸入的待檢測的飛行語音指令，先通過飛行語音指令語音識別和飛行語音指令模型向量化，生成對應的指令模型向量，再輸入訓練完成的聽覺注意反應時預測模型，得到聽覺注意反應時。

4.根據權利要求3所述一種飛行員聽覺注意反應時預測方法，其特征在于：利用權利要求1所述測量方法得到樣本對應的聽覺注意力反應時。

5.根據權利要求3所述一種飛行員聽覺注意反應時預測方法，其特征在于：在步驟1.3進行識別前，對輸入的飛行語音指令進行滑窗分幀、特征提取處理，得到輸入的飛行語音指令的特征矢量時間序列，然后基于輸入的飛行語音指令的特征矢量時間序列，通過動態時間伸縮匹配方法進行識別。

6.根據權利要求3所述一種飛行員聽覺注意反應時預測方法，其特征在于：步驟1中，飛行語音指令特征提取的特征參數采用標準的梅爾頻率倒譜系數MFCC，并對MFCC參數進行一階差分求得ΔMFCC，將ΔMFCC與MFCC組合作為特征矢量。

7.根據權利要求3所述一種飛行員聽覺注意反應時預測方法，其特征在于：聽覺注意反應時預測模型采用雙隱層的神經網絡，采用有監督的學習算法進行訓練。