[發(fā)明專利]一種魚類捕食行為分析的多模態(tài)腦影像融合方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211343348.1
• 申請(qǐng)日: 2022-10-31
• 公開（公告）號(hào): CN115908994A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計(jì)）人: 胡秋;蔡衛(wèi)明;胡紹海;白楊;鄒歡清;金婧;馬新莉
• 申請(qǐng)（專利權(quán)）人: 浙大寧波理工學(xué)院
• 主分類號(hào): G06V10/80
• 分類號(hào): G06V10/80;G06V10/772;G06V10/54;G06V10/40;G06V10/46;G06V10/77
• 代理公司: 寧波甬致專利代理有限公司 33228
• 代理人: 袁波

本發(fā)明提供了一種魚類捕食行為分析的多模態(tài)腦影像融合方法，涉及圖像融合技術(shù)領(lǐng)域，本方法包括步驟S1：基于分離字典學(xué)習(xí)通過關(guān)聯(lián)稀疏系數(shù)構(gòu)成的稀疏矩陣來表征結(jié)構(gòu)紋理特征；S2：通過正交匹配追蹤法和黎曼流形上共軛梯度法經(jīng)過循環(huán)迭代得到預(yù)訓(xùn)練字典；S3：采用紋理對(duì)比度與稀疏顯著性特征和構(gòu)造活性測(cè)度以保留紋理信息，通過稀疏重構(gòu)得到融合的腦影像。本方法能夠克服字典原子的更新形式易造成紋理信息丟失和字典整體更新效率偏低的不足，以及因活性測(cè)度表征單一造成紋理信息丟失的缺陷。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像融合技術(shù)領(lǐng)域，具體而言，涉及一種魚類捕食行為分析的多模態(tài)腦影像融合方法。

背景技術(shù)

包括人類在內(nèi)的動(dòng)物行為涉及動(dòng)機(jī)、感知、決策、運(yùn)動(dòng)控制、反饋等一系列復(fù)雜的神經(jīng)環(huán)路功能，研究如何更好地理解動(dòng)物的神經(jīng)環(huán)路活動(dòng)與行為之間的聯(lián)系是系統(tǒng)神經(jīng)科學(xué)的重點(diǎn)目標(biāo)。以魚類的捕食行為為例，現(xiàn)有的魚類全腦神經(jīng)活動(dòng)的記錄是在頭部固定的活體魚上完成的，而對(duì)腦功能結(jié)構(gòu)的研究有助于提高對(duì)魚類全腦神經(jīng)活動(dòng)的理解。腦功能成像處理技術(shù)中的腦影像融合通過將多模態(tài)的腦功能成像關(guān)于同一場(chǎng)景的互補(bǔ)信息融合到單一影像中，能夠有效提升對(duì)腦功能結(jié)構(gòu)信息的立體感知，從而對(duì)理解魚類全腦神經(jīng)活動(dòng)與行為之間的聯(lián)系提供了必要的研究基礎(chǔ)。因多模態(tài)腦影像成像機(jī)制不同，腦影像間往往存在明顯的亮暗對(duì)比、紋理差異和相似度低等特點(diǎn)。腦影像自身的成像特點(diǎn)使得已有融合方法效果并不理想。

目前，學(xué)術(shù)界對(duì)腦影像融合的研究主要集中在像素級(jí)、特征級(jí)和決策級(jí)三個(gè)融合層次，其研究成果也較為完善。其中，像素級(jí)融合通過直接作用于原始數(shù)據(jù)層中的像素能夠更完整地保留源影像中的有效信息，且因腦影像融合相比于對(duì)實(shí)時(shí)性的要求，更加重視融合算法的準(zhǔn)確性，因此像素級(jí)融合在腦影像融合中得到了更為廣泛的應(yīng)用。常用的像素級(jí)融合算法包括空間域、變換域、稀疏表示、深度學(xué)習(xí)及其復(fù)合算法。與其他算法相比較，稀疏表示能夠?qū)崿F(xiàn)信號(hào)的自然稀疏性，利于紋理特征的提取，并且該原理與人類視覺系統(tǒng)HVS的生理特征相一致。雖然基于稀疏表示的融合方法中，傳統(tǒng)的解析字典學(xué)習(xí)能夠簡(jiǎn)單快速的實(shí)現(xiàn)信號(hào)的稀疏表示，但其對(duì)于復(fù)雜紋理的表達(dá)能力通常很差。字典更新形式降低了字典整體的更新效率。字典原子以列向量的形式更新，可理解為僅在一個(gè)維度方向上提取圖像的紋理信息，降低了相鄰區(qū)域的結(jié)構(gòu)和紋理相關(guān)性，易造成信息丟失。另外，稀疏特征的活性測(cè)度表征單一也是造成紋理信息丟失的重要原因。

發(fā)明內(nèi)容

本發(fā)明解決的問題是如何克服字典原子的更新形式易造成紋理信息丟失和字典整體更新效率偏低的不足，以及因活性測(cè)度表征單一而造成紋理信息丟失的缺陷。

為解決上述問題，本發(fā)明提供一種魚類捕食行為分析的多模態(tài)腦影像融合方法，包括步驟：

S1：基于分離字典學(xué)習(xí)通過關(guān)聯(lián)稀疏系數(shù)構(gòu)成的稀疏矩陣來表征結(jié)構(gòu)紋理特征；

S2：通過正交匹配追蹤法和黎曼流形上共軛梯度法經(jīng)過循環(huán)迭代得到預(yù)訓(xùn)練字典；

S3：采用紋理對(duì)比度與稀疏顯著性特征和構(gòu)造活性測(cè)度以保留紋理信息，通過稀疏重構(gòu)得到融合的腦影像。

在上述方法中，針對(duì)方法中字典原子的更新形式易造成紋理信息丟失和字典整體更新效率偏低的不足，采用分離字典學(xué)習(xí)的方式通過關(guān)聯(lián)稀疏系數(shù)構(gòu)成的稀疏矩陣來表征更豐富的結(jié)構(gòu)紋理特征，并通過子字典矩陣形式的同步更新來提高字典更新效率。針對(duì)方法中因活性測(cè)度表征單一造成紋理信息丟失的不足，采用紋理對(duì)比度和稀疏顯著性特征和構(gòu)造新的活性測(cè)度以保留更完備的紋理信息，最終通過稀疏重構(gòu)得到融合的腦影像。

進(jìn)一步地，所述步驟S1包括：

S11：建立初始字典原子與當(dāng)前殘差，利用初始字典原子和當(dāng)前殘差確定最相關(guān)字典原子的索引，并經(jīng)多次迭代得到索引集，采用最小二乘法更新稀疏系數(shù)，并對(duì)稀疏系數(shù)求偏導(dǎo)，得到當(dāng)前字典下的重構(gòu)樣本以及更新殘差；

S12：將更新殘差與字典原子重新確定最相關(guān)字典原子的索引，以完成迭代循環(huán)，得到正交匹配追蹤法下的更新稀疏系數(shù)。