[發(fā)明專利]一種人腦活動中自然圖像貝葉斯重建的方法

在審

• 申請?zhí)枺?/td>: 201811342468.3
• 申請日: 2018-11-13
• 公開（公告）號: CN109615608A
• 公開（公告）日: 2019-04-12
• 發(fā)明（設(shè)計(jì)）人: 伏云發(fā);李昭陽;王文樂;周洲州;陳睿;李玉;熊馨
• 申請（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T9/00;G06T11/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及一種人腦活動中自然圖像貝葉斯重建的方法，屬于功能磁共振技術(shù)領(lǐng)域。本發(fā)明包括步驟：首先通過應(yīng)用兩個(gè)編碼模型結(jié)構(gòu)編碼模型和語義編碼模型；從測量的響應(yīng)中提取關(guān)于目標(biāo)圖像的信息；接著，確定關(guān)于自然圖像的先驗(yàn)信息，其中使用自然圖像先驗(yàn)、稀疏Gabor先驗(yàn)和扁平先驗(yàn)；最后，通過使用貝葉斯框架來結(jié)合體素、結(jié)構(gòu)和語義編碼模型以及圖像先驗(yàn)信息來獲得重構(gòu)。本發(fā)明把結(jié)構(gòu)編碼模型、語義編碼模型和先驗(yàn)信息相結(jié)合這三個(gè)相結(jié)合重建的圖像，能夠清晰地看到重建圖像的結(jié)構(gòu)和具體內(nèi)容。

技術(shù)領(lǐng)域

本發(fā)明涉及一種人腦活動中自然圖像貝葉斯重建的方法，屬于功能磁共振技術(shù)領(lǐng)域。

背景技術(shù)

最近的研究已經(jīng)使用來自早期視覺區(qū)域的fMRI信號來重建簡單的幾何圖案。在這里，我們展示了一種人腦活動中自然圖像貝葉斯重建的方法，它使用來自早期和前方視覺區(qū)域的fMRI信號來重建復(fù)雜的自然圖像。我們的解碼器結(jié)合了三個(gè)要素：表征早期視覺區(qū)域響應(yīng)的結(jié)構(gòu)編碼模型，表征前視覺區(qū)域響應(yīng)的語義編碼模型，以及關(guān)于自然圖像結(jié)構(gòu)和語義內(nèi)容的先驗(yàn)信息。通過組合所有這些元素，解碼器產(chǎn)生重建，準(zhǔn)確地反映觀察到的自然圖像中包含的對象的空間結(jié)構(gòu)和語義類別。我們的研究結(jié)果表明，先前的信息對自然圖像重建的質(zhì)量有重大影響。我們還證明，前視覺區(qū)域?qū)?fù)雜自然圖像的反應(yīng)的大部分變化僅由圖像的語義范疇來解釋。

功能磁共振成像提供了一個(gè)單一的刺激激活單獨(dú)的大腦區(qū)域活動的測量。fMRI的這一特性使其成為一種優(yōu)秀的大腦閱讀工具，其中多個(gè)體素的反應(yīng)被用于解碼誘發(fā)它們的刺激。最常見的解碼方法是圖像分類。最近的兩項(xiàng)研究已超越分類并展示了刺激重建。重建的目標(biāo)是生成一幅呈現(xiàn)的圖像文字圖片。Thirion等人(2006)和Miyawaki等人(2008)的研究通過分析早期視覺區(qū)域中體素的反應(yīng)來實(shí)現(xiàn)重建。為了簡化問題，兩項(xiàng)研究都使用由閃爍棋盤圖案組成的幾何刺激。然而，一個(gè)通用的大腦閱讀設(shè)備應(yīng)該能夠重建自然圖像。自然圖像是重建的重要目標(biāo)，因?yàn)樗鼈兣c日常感知和主觀過程(如圖像和做夢)最相關(guān)。自然圖像也是非常具有挑戰(zhàn)性的重建目標(biāo)，因?yàn)樗鼈兙哂袕?fù)雜的統(tǒng)計(jì)結(jié)構(gòu)和豐富的語義內(nèi)容(即描繪有意義的對象和場景)。重建自然圖像的方法應(yīng)該能夠同時(shí)揭示圖像的結(jié)構(gòu)和語義內(nèi)容。

在以前的研究中，采用結(jié)構(gòu)編碼模型而不使用貝葉斯框架來解決圖像的識別問題。圖像識別的目的是確定在某個(gè)試驗(yàn)中看到了哪個(gè)特定的圖像，這些圖像是從一組已知圖像中提取出來的。

發(fā)明內(nèi)容

本發(fā)明提供了一種人腦活動中自然圖像貝葉斯重建的方法，使用來自早期和前部視覺區(qū)域的fMRI信號來重建復(fù)雜的自然圖像，本發(fā)明可以更準(zhǔn)確的重建自然圖像的空間結(jié)構(gòu)，同時(shí)揭示其語義內(nèi)容。在這里使用的貝葉斯框架下，重建被定義為具有最高誘發(fā)測量響應(yīng)的后驗(yàn)概率的圖像。

本發(fā)明的技術(shù)方案是：一種人腦活動中自然圖像貝葉斯重建的方法，首先通過應(yīng)用兩個(gè)編碼模型結(jié)構(gòu)編碼模型和語義編碼模型；從測量的響應(yīng)中提取關(guān)于目標(biāo)圖像的信息；接著，確定關(guān)于自然圖像的先驗(yàn)信息，其中使用自然圖像先驗(yàn)、稀疏Gabor先驗(yàn)和扁平先驗(yàn)；最后，通過使用貝葉斯框架來結(jié)合體素、結(jié)構(gòu)和語義編碼模型以及圖像先驗(yàn)信息來獲得重構(gòu)。

進(jìn)一步地，所述人腦活動中自然圖像貝葉斯重建的方法的具體步驟如下：

Step1、選擇被試，讓其觀看一組目標(biāo)圖像同時(shí)進(jìn)行磁共振掃描記錄大腦的BOLD信號；

Step2、對記錄到的BOLD信號進(jìn)行預(yù)處理，包括時(shí)間層校正、頭動校正、空間標(biāo)準(zhǔn)化去除偽跡；

Step3、應(yīng)用兩個(gè)編碼模型，結(jié)構(gòu)編碼模型和語義編碼模型，從測量的響應(yīng)BOLD信號中提取關(guān)于目標(biāo)圖像的體素；

Step4、確定關(guān)于目標(biāo)圖像的先驗(yàn)信息；先驗(yàn)信息包括自然圖像先驗(yàn)、稀疏Gabor先驗(yàn)和扁平先驗(yàn)；

Step5、通過使用貝葉斯框架來結(jié)合體素，結(jié)構(gòu)和語義編碼模型以及先驗(yàn)信息來獲得重構(gòu)。