[發明專利]基于多任務信息提高目標檢測泛化能力的腦機接口系統

有效

• 申請號: 202010988506.3
• 申請日: 2020-09-18
• 公開（公告）號: CN112070177B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 何暉光;魏瑋;邱爽;李勁鵬
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06F3/01;A61B5/369;A61B5/372;A61B5/00
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于腦?機接口應用領域，具體涉及一種基于多任務信息提高目標檢測泛化能力的腦機接口系統，旨在為了解決基于腦電的快速序列視覺呈現目標檢索問題中跨用戶模型泛化性能差的問題，通過多任務學習的方式提高跨用戶泛化能力，多任務模型中包括主任務目標檢測以及輔助任務按鍵手判斷、性別判斷、疲勞度估計、年齡估計和用戶編號判斷，輔助性任務與主任務目標檢測以不同的任務分支存在于同一個模型內。本發明引入主任務相關的輔助性任務，提高模型對不同用戶個體特征的辨識能力，使得模型學習不同用戶個體之間的差異性表示，從而實現系統的跨被試泛化能力的提升。

技術領域

本發明屬于及腦-機接口應用領域，具體涉及一種基于多任務信息提高目標檢測泛化能力的腦機接口系統。

背景技術

目標檢測是計算機視覺領域中的一個常見方向，應用十分廣泛。雖然目標檢測的算法在近年來獲得了巨大的進步，但是無論是傳統的機器學習算法還是當前研究熱點的深度學習模型，當其算法應用在真實、復雜的現實世界場景時，準確率存在不同程度的下降。人類視覺可以解決目前基于形式化表達體系的模式識別和機器智能方法在處理真實世界中的復雜問題時所面臨的瓶頸問題。

在實際應用中，目標檢測問題不可避免的需要人工的介入，人類視覺的處理能夠保證準確度。但是人工確認的方式十分耗時，尤其在面對信息激增的今天，人工處理過程消耗時間久、費用高昂，該問題在某些需要專業人士進行處理的領域更為顯著。對于目標檢測問題，基于腦-機接口的快速序列視覺呈現(Rapid Serial Visual Presentation,RSVP)被用來進行圖像目標識別的自動快速篩查。如圖1，在RSVP-腦-機接口框架下，待檢測圖像序列以較高速率呈現在顯示器屏幕上，典型速度為每秒出現10張圖片。通過用戶識別圖像序列中的存在目標，用戶需要在進行目標檢測任務中看見目標圖像出現后立即進行按鍵。采集用戶任務期間接受視覺刺激的腦電信號(EEG)并通過腦電放大器進行放大后，發送服務器進行處理與分析，從腦電中分析出包含目標的圖像在序列中的位置，從而實現自動標記目標。該框架的整個流程可以實現從圖片到結果的自動化過程，將人工標記的操作時間大大減少，可以緩解圖像檢索、目標識別問題中，人工處理耗時的過程。

然而，不同用戶腦電信號差異大，針對單個用戶的EEG解碼模型泛化能力有限，難以獲得能夠跨用戶使用的EEG模型。在實際應用中，每次只能針對每位用戶分別采集帶標簽的數據(該過程稱為校準)，使用監督學習(Supervised Learning)策略獲得模型參數，部署在計算機上，進行后續的測試環節。上述操作涉及到帶標簽樣本的采集，費時費力，在一些需要盡快搭建目標檢測模型的場景中難以適用。

現有的提高EEG模型泛化能力的方法主要包括三類。第一類是使用同一位用戶的過往數據構建模型，將模型應用在新的數據上，這種方法的出發點在于，同一位用戶在不同時間的EEG信號差異性低于不同用戶EEG之間的差異。該方法的缺點在于，無法處理用戶沒有過往數據的情況。第二類是基于遷移的方法，通過尋找不同用戶之間相似的EEG樣本，從而達到以一定權重共用分類器、減少預實驗時間的目的。該方法能夠做到跨用戶遷移模型，但缺點在于仍然需要預實驗。第三類是從領域自適應(Domain Adaptation)方法出發，提高新采集的數據和過往數據之間的相似程度，以在新數據沒有標簽的情況下使用過往數據的監督信息。該方法可以提高EEG目標識別模型的跨被試可用性，但依然需要預實驗中采集的樣本。

發明內容

為了解決現有技術中的上述問題，即為了解決基于腦電的快速序列視覺呈現目標檢索問題中跨用戶模型泛化性能差的問題，本發明提出了一種基于多任務信息提高目標檢測泛化能力的腦機接口系統，包括顯示裝置、腦電波采集裝置、處理單元；

所述顯示裝置，配置為顯示包含目標刺激的圖片序列；

所述腦電波采集裝置，配置為獲取用戶的腦電信號并放大；

所述處理單元包括腦電信號特征提取模塊、多任務識別模塊，所述多任務識別模塊包括特征映射網絡、目標分類主任務分支和輔助任務分支；