[發(fā)明專利]一種利用聲音刺激誘發(fā)的ERP進(jìn)行語義聲音搜索的方法

無效

• 申請?zhí)枺?/td>: 201210583394.9
• 申請日: 2012-12-27
• 公開（公告）號: CN103077205A
• 公開（公告）日: 2013-05-01
• 發(fā)明（設(shè)計）人: 王怡雯;蔣磊;肖思遠(yuǎn);蔡邦宇;張嘉璐;陳衛(wèi)東;鄭筱祥
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

技術(shù)領(lǐng)域

本發(fā)明涉及腦機交互技術(shù)領(lǐng)域，具體涉及一種利用聲音刺激誘發(fā)的ERP進(jìn)行語義聲音搜索的方法。

背景技術(shù)

在人感知外界環(huán)境的過程中，聲音是非常重要的媒介，占總信息量的20％左右。隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，聲音數(shù)據(jù)呈幾何級數(shù)增長，如何對海量的聲音數(shù)據(jù)進(jìn)行快速有效的搜索成為一個亟待解決的問題。

現(xiàn)階段的聲音數(shù)據(jù)搜索方式主要基于文本，即首先生成聲音文件的文本標(biāo)注，然后使用文本搜索技術(shù)實現(xiàn)對聲音數(shù)據(jù)的搜索，但是，由于聲音的很多重要的特征，比如聲音所包含的語義很難用簡單的文本表示，所以基于文本的搜索方式并不適用于對聲音數(shù)據(jù)的搜索。

基于語義的聲音搜索是聲音檢索領(lǐng)域的一門新興技術(shù)，它提取聲音數(shù)據(jù)包含的底層聽覺特征，推導(dǎo)出其表達(dá)的人類認(rèn)知的高層語義概念，并與用戶的搜索請求中的語義信息相匹配，從而得出搜索結(jié)果。但是，由于原始聲音數(shù)據(jù)僅僅是非語義非結(jié)構(gòu)化的二進(jìn)制流，缺乏語義的描述和結(jié)構(gòu)化的組織，因而基于語義的聲音搜索受到了極大的限制。

雖然隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們開發(fā)出了一系列基于語義的搜索方法，但是相對于日趨成熟的圖像與視頻搜索，聲音搜索仍然相對滯后。

事件相關(guān)電位(Event?Related?Potential，ERP)從上世紀(jì)六七十年代起在神經(jīng)科學(xué)領(lǐng)域有廣泛的應(yīng)用，它是指當(dāng)外加一種特定的刺激，作用于感覺系統(tǒng)或腦的某一部位，在給予刺激或撤銷刺激時，在腦區(qū)引起的電位變化。

1988年，F(xiàn)arwell和Donchin發(fā)明的“P300”打字機開啟了將ERP技術(shù)運用到腦機接口(Brain?Computer?Interface，BCI)領(lǐng)域的新紀(jì)元。在接下來的二十多年時間里，基于ERP的BCI技術(shù)有了長足的發(fā)展，給人們提供了一種與外界交互的新的方式。

現(xiàn)有技術(shù)中的BCI系統(tǒng)通常包括：向用戶施加刺激的腦電信號誘發(fā)系統(tǒng)，采集用戶腦電信號的腦電信號采集系統(tǒng)以及對采集到的腦電信號進(jìn)行分析的腦電信號分析系統(tǒng)。

當(dāng)人對不同的刺激的關(guān)注程度或者感興趣程度不同時，誘發(fā)的ERP將會有顯著差異，通過使用一定的信號處理和模式識別算法，可以識別出這種差異，從而找出人關(guān)注的或者感興趣的特定刺激。

基于ERP的這一特點，已經(jīng)有人將ERP運用在圖片搜索上，如美國哥倫比亞大學(xué)的Paul?Sajda教授使用經(jīng)典的RSVP(Rapid?Serial?VisualPresentation)范式誘發(fā)ERP，并將對ERP的分析與計算機視覺相結(jié)合，實現(xiàn)了在數(shù)據(jù)庫中的快速圖片搜索，然而，目前還未見利用ERP對聲音搜索的報道。

發(fā)明內(nèi)容

本發(fā)明提供了一種利用聲音刺激誘發(fā)的ERP進(jìn)行語義聲音搜索的方法，能夠快速、準(zhǔn)確地搜索到具有同一語義的聲音。

一種利用聲音刺激誘發(fā)的ERP進(jìn)行語義聲音搜索的方法，包括以下步驟：

(1)向用戶依次施加各類語義相關(guān)的聲音刺激，使用戶對各類語義相關(guān)的聲音刺激產(chǎn)生相應(yīng)的原始腦電信號；

(2)在施加聲音刺激的同時采集用戶對所施加的聲音刺激產(chǎn)生的原始腦電信號，并對原始腦電信號進(jìn)行放大以及數(shù)字化處理；

(3)將步驟(2)中處理得到的腦電信號進(jìn)行ERP檢測分析，依據(jù)ERP檢測分析的結(jié)果，在步驟(1)中施加的語義相關(guān)的聲音刺激中確定用戶需要的一類語義的聲音。

作為優(yōu)選，所述步驟(1)中向用戶施加各類語義相關(guān)的聲音刺激之前，設(shè)置用于讓用戶集中注意力，并減少眨眼和身體移動的倒計時時間。

在利用聲音刺激誘發(fā)的ERP進(jìn)行語義聲音搜索的過程中，需要用戶集中注意力，在語義聲音搜索之前設(shè)置倒計時時間，有助于得到ERP特征明顯的原始腦電信號，提高聲音搜索的準(zhǔn)確性。

根據(jù)用戶的需要以及應(yīng)用環(huán)境的不同，為達(dá)到最佳的聲音搜索效果，用戶可以對聲音刺激的參數(shù)進(jìn)行修改，例如設(shè)置聲音刺激時間間隔，同類語義的聲音刺激出現(xiàn)的次數(shù)等參數(shù)。

如果相同語義的聲音刺激連續(xù)出現(xiàn)，則腦電信號中的ERP強度會有所降低，因此，為了保證腦電信號中的ERP強度滿足要求，優(yōu)選地，所述步驟(1)中向用戶依次施加各類語義相關(guān)的聲音刺激時，各類語義相關(guān)的聲音刺激隨機出現(xiàn)且相同語義的聲音刺激非連續(xù)出現(xiàn)。

為了得到最佳的聲音搜索結(jié)果，優(yōu)選地，所述步驟(1)中各類語義相關(guān)的聲音刺激的時間間隔為500ms，同種語義的聲音刺激出現(xiàn)10次。