[發(fā)明專利]一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611165996.7
• 申請(qǐng)日: 2016-12-16
• 公開（公告）號(hào): CN106691378A
• 公開（公告）日: 2017-05-24
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號(hào): A61B5/00
• 分類號(hào): A61B5/00;A61B5/0484
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和認(rèn)知神經(jīng)科學(xué)領(lǐng)域，尤其是涉及了一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法。

背景技術(shù)

信息時(shí)代科技發(fā)展突飛猛進(jìn)，對(duì)計(jì)算機(jī)的視覺處理能力要求越來越高，人類在解釋視覺場(chǎng)景方面表現(xiàn)出優(yōu)秀的性能，機(jī)器仍然無法達(dá)到。盡管最近重新發(fā)現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)已使自動(dòng)視覺分類的性能得到顯著改進(jìn)，但是它們的泛化能力不在人的水平，因?yàn)樗鼈儗W(xué)習(xí)一個(gè)有區(qū)別的特征空間，其嚴(yán)格依賴于所采用的訓(xùn)練數(shù)據(jù)集而不是更一般的數(shù)據(jù)集，這反映了基于認(rèn)知的自動(dòng)化方法執(zhí)行視覺分類任務(wù)的困難。而如果采用基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，則可以解決解碼視覺對(duì)象相關(guān)的腦電圖數(shù)據(jù)的問題，而且讓機(jī)器讀懂人的想法，模仿人類視覺功能執(zhí)行自動(dòng)化視覺對(duì)象分類任務(wù)。

本發(fā)明提出了一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，它包括兩個(gè)階段：(1)基于遞歸神經(jīng)網(wǎng)絡(luò)的方法學(xué)習(xí)視覺刺激誘發(fā)的腦電圖數(shù)據(jù)，并輸入編碼器得到該數(shù)據(jù)更緊湊的表示，即腦電圖特征；(2)采用將圖像回歸到所學(xué)習(xí)的腦電圖特征表示中的基于卷積神經(jīng)網(wǎng)絡(luò)的方法，從而使得能夠在“基于大腦的視覺對(duì)象流形”中進(jìn)行自動(dòng)視覺分類。本發(fā)明在圖像識(shí)別方面，比起基于卷積神經(jīng)網(wǎng)絡(luò)的方法，在分類能力和一般化能力更具競(jìng)爭(zhēng)性；啟用一種新形式的基于大腦的圖像標(biāo)記，它提供有關(guān)人類視覺感知系統(tǒng)的有意義的洞察；有效地將圖像投射到新的基于生物的流形將根本改變對(duì)象分類器的開發(fā)方式。

發(fā)明內(nèi)容

針對(duì)基于認(rèn)知的自動(dòng)化方法執(zhí)行視覺分類任務(wù)困難的問題，本發(fā)明的目的在于提供一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，首先它采用由視覺對(duì)象刺激因素誘發(fā)的腦電圖數(shù)據(jù)聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)一個(gè)有識(shí)別能力的大腦活動(dòng)視覺分類流形，然后訓(xùn)練一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的回歸元，它將圖像映射到學(xué)習(xí)好的流形，最后計(jì)算機(jī)采用基于人類大腦的特征執(zhí)行自動(dòng)化視覺分類任務(wù)，得到圖像分類結(jié)果。

為解決上述問題，本發(fā)明提供一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，其主要內(nèi)容包括：

(一)腦電圖數(shù)據(jù)采集；

(二)學(xué)習(xí)腦電圖；

(三)腦電圖特征提取；

(四)自動(dòng)分類。

其中，一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，訓(xùn)練一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的回歸元，它將圖像投射到腦電圖流形，從而有效地允許機(jī)器采用基于人類大腦的特征來執(zhí)行自動(dòng)化視覺分類任務(wù)。

其中，所述的腦電圖數(shù)據(jù)采集，讓被試者觀看ImageNet數(shù)據(jù)庫(kù)里的40個(gè)對(duì)象類的圖片時(shí)的大腦活動(dòng)，這40個(gè)對(duì)象類包含狗、貓、貓頭鷹、海豹等；使用32信道腦電圖來記錄被試者觀看圖片受視覺刺激時(shí)產(chǎn)生的大腦信號(hào)，去掉不傳達(dá)任何有用信息的三個(gè)通道后，得到多通道(29個(gè)通道)時(shí)間腦電圖序列；將一般的輸入腦電圖序列稱為s(c，t)，其中c(從1到29)對(duì)應(yīng)一個(gè)通道，t(從1到110)對(duì)應(yīng)時(shí)間上的一個(gè)樣本，使用符號(hào)(·)來表示“所有值”，s(·，t)表示時(shí)間t處所有通道的向量，s(c，·)表示通道的整個(gè)時(shí)間樣本集C。

進(jìn)一步地，所述的圖片，2000張圖片(每個(gè)對(duì)象類別50張)顯示0.5秒，每個(gè)類別的圖片持續(xù)顯示25秒，隨后是只顯示黑色圖像的10秒暫停時(shí)間。

其中，所述的學(xué)習(xí)腦電圖，預(yù)處理后的腦電圖多通道時(shí)間信號(hào)，作為輸入提供給編碼器模塊，編碼器模塊處理整個(gè)時(shí)間序列并輸出腦電圖特征向量作為輸入的緊湊表示。

進(jìn)一步地，所述的編碼器，包括基于長(zhǎng)短期記憶(LSTM)遞歸神經(jīng)網(wǎng)絡(luò)來分析序列數(shù)據(jù)，它能跟蹤輸入數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系；本專利采用以下三種編碼器架構(gòu)：

(1)公共LSTM：編碼器網(wǎng)絡(luò)由LSTM層的堆棧組成；在每個(gè)時(shí)間步驟t，第一層取輸入s(·，t)(在這個(gè)意義上，“公共”意味著所有腦電圖通道最初被饋送到同一LSTM層)；如果存在其他LSTM層，則第一層的輸出(其可以具有與原始輸入大小不同)被提供作為第二層的輸入，等等；最后一個(gè)時(shí)間步長(zhǎng)處的最深LSTM層的輸出被用作整個(gè)輸入序列的腦電圖特征表示；

(2)通道LSTM+公共LSTM：第一編碼層由幾個(gè)LSTM組成，每個(gè)LSTM僅連接到一個(gè)輸入通道：例如，第一LSTM處理輸入數(shù)據(jù)s(1，·)，第二LSTM處理s(2，·)，等等；以這種方式，每個(gè)“通道LSTM”的輸出是單個(gè)通道的數(shù)據(jù)的總結(jié)；然后，第二編碼層通過接收所有信道LSTM的級(jí)聯(lián)輸出向量作為輸入來執(zhí)行通道間分析；如上所述，在最后時(shí)間步長(zhǎng)的最深LSTM的輸出被用作編碼器的輸出向量；