[發(fā)明專利]影像驅(qū)動(dòng)的腦圖譜構(gòu)建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110026756.3
• 申請(qǐng)日: 2021-01-09
• 公開（公告）號(hào): CN112735570B
• 公開（公告）日: 2022-02-22
• 發(fā)明（設(shè)計(jì)）人: 王書強(qiáng);左乾坤;甘敏
• 申請(qǐng)（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G16H30/40
• 分類號(hào): G16H30/40;G06N3/08
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 李艷麗

本申請(qǐng)適用于醫(yī)療影像技術(shù)領(lǐng)域，提供了影像驅(qū)動(dòng)的腦圖譜構(gòu)建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。該方法包括：獲取待預(yù)測(cè)的腦部的多模態(tài)數(shù)據(jù)，多模態(tài)數(shù)據(jù)是根據(jù)腦部在至少三種不同模態(tài)下采集到的影像數(shù)據(jù)得到的；將多模態(tài)數(shù)據(jù)輸入預(yù)設(shè)的融合網(wǎng)絡(luò)中處理，輸出得到腦部的特征參數(shù)；融合網(wǎng)絡(luò)對(duì)多模態(tài)數(shù)據(jù)的處理包括提取多模態(tài)數(shù)據(jù)的非歐式空間特征和歐式空間特征，并對(duì)非歐式空間特征和歐式空間特征進(jìn)行超圖融合得到特征參數(shù)，特征參數(shù)用于表征腦部的腦連接矩陣和/或疾病類別。將不同空間的特征映射為超圖數(shù)據(jù)結(jié)構(gòu)進(jìn)行超圖融合，避免了不同空間的特征之間可能存在的異構(gòu)性，從而獲得多模態(tài)數(shù)據(jù)之間互補(bǔ)性的融合特征。

技術(shù)領(lǐng)域

本申請(qǐng)屬于醫(yī)療影像技術(shù)領(lǐng)域，尤其涉及一種影像驅(qū)動(dòng)的腦圖譜構(gòu)建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著醫(yī)療影像技術(shù)發(fā)展，不同模態(tài)的數(shù)據(jù)能夠描述腦部?jī)?nèi)部某種疾病的信息，可以用來(lái)輔助疾病診斷和治療。然而單一模態(tài)的數(shù)據(jù)所能夠提供的信息往往有限，因此，通過(guò)融合不同模態(tài)的數(shù)據(jù)，獲得融合特征成為目前較為熱門的研究方向。

目前，常用的模態(tài)融合方法是通過(guò)加權(quán)求和的方式直接融合不同模態(tài)的數(shù)據(jù)。然而不同模態(tài)的數(shù)據(jù)之間可能具有異構(gòu)性，這就導(dǎo)致無(wú)法準(zhǔn)確提取不同模態(tài)數(shù)據(jù)融合特征，因此無(wú)法構(gòu)建準(zhǔn)確的腦圖譜，造成疾病診斷的誤判。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N影像驅(qū)動(dòng)的腦圖譜構(gòu)建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，解決由于不同模態(tài)的數(shù)據(jù)之間可能具有異構(gòu)性，導(dǎo)致無(wú)法準(zhǔn)確提取不同模態(tài)數(shù)據(jù)的融合特征，從而無(wú)法構(gòu)建準(zhǔn)確的腦圖譜，造成疾病診斷的誤判的問(wèn)題。

第一方面，本申請(qǐng)?zhí)峁┮环N影像驅(qū)動(dòng)的腦圖譜構(gòu)建方法，包括：獲取待預(yù)測(cè)的腦部的多模態(tài)數(shù)據(jù)，多模態(tài)數(shù)據(jù)是根據(jù)腦部在至少三種不同模態(tài)下采集到的影像數(shù)據(jù)得到的；將多模態(tài)數(shù)據(jù)輸入預(yù)設(shè)的融合網(wǎng)絡(luò)中處理，輸出得到腦部的特征參數(shù)；融合網(wǎng)絡(luò)對(duì)多模態(tài)數(shù)據(jù)的處理包括提取多模態(tài)數(shù)據(jù)的非歐式空間特征和歐式空間特征，并對(duì)非歐式空間特征和歐式空間特征進(jìn)行超圖融合得到特征參數(shù)，特征參數(shù)用于表征腦部的腦連接矩陣和/或疾病類別。

可選的，對(duì)非歐式空間特征和歐式空間特征進(jìn)行超圖融合得到特征參數(shù)，包括：對(duì)非歐式空間特征和歐式空間特征分別進(jìn)行超圖數(shù)據(jù)轉(zhuǎn)換，得到第一超圖矩陣和第二超圖矩陣；對(duì)第一超圖矩陣和第二超圖矩陣分別進(jìn)行頂點(diǎn)卷積計(jì)算，得到第一超邊特征和第二超邊特征；對(duì)第一超邊特征和第二超邊進(jìn)行超邊卷積計(jì)算，得到融合特征；根據(jù)融合特征得到特征參數(shù)。

可選的，對(duì)第一超邊特征和第二超邊進(jìn)行超邊卷積計(jì)算，得到融合特征，包括；將第一超邊特征和第二超邊特征進(jìn)行合并，得到合并矩陣；對(duì)合并矩陣進(jìn)行超邊卷積計(jì)算，得到融合特征。

可選的，影像數(shù)據(jù)包括腦部的sMRI數(shù)據(jù)、DTI數(shù)據(jù)和fMRI數(shù)據(jù)；多模態(tài)數(shù)據(jù)包括根據(jù)DTI數(shù)據(jù)獲取的節(jié)點(diǎn)連接矩陣，根據(jù)fMRI數(shù)據(jù)獲取的節(jié)點(diǎn)特征矩陣和sMRI數(shù)據(jù)。

可選的，提取多模態(tài)數(shù)據(jù)的非歐式空間特征，包括：將節(jié)點(diǎn)連接矩陣和節(jié)點(diǎn)特征矩陣進(jìn)行圖卷積處理，得到非歐式空間特征。

可選的，提取多模態(tài)數(shù)據(jù)的歐式空間特征，包括：將sMRI數(shù)據(jù)進(jìn)行卷積處理，得到語(yǔ)義表征向量；將語(yǔ)義表征向量進(jìn)行編碼處理，得到歐式空間特征。

可選的，該方法還包括：獲取數(shù)據(jù)樣本，數(shù)據(jù)樣本包括樣本腦部的sMRI數(shù)據(jù)、DTI數(shù)據(jù)、fMRI數(shù)據(jù)和樣本腦部的疾病類別標(biāo)簽；根據(jù)樣本腦部的fMRI數(shù)據(jù)和DTI數(shù)據(jù)，獲取樣本腦部的節(jié)點(diǎn)特征矩陣、節(jié)點(diǎn)連接矩陣和先驗(yàn)概率分布；從先驗(yàn)概率分布中抽樣獲得隱層空間的節(jié)點(diǎn)特征；利用樣本腦部的隱層空間的節(jié)點(diǎn)特征、節(jié)點(diǎn)特征矩陣、節(jié)點(diǎn)連接矩陣以及sMRI數(shù)據(jù)對(duì)預(yù)設(shè)的對(duì)抗生成超圖融合網(wǎng)絡(luò)進(jìn)行對(duì)抗訓(xùn)練；當(dāng)對(duì)抗生成超圖融合網(wǎng)絡(luò)收斂時(shí)，對(duì)對(duì)抗生成超圖融合網(wǎng)絡(luò)進(jìn)行遷移處理，獲取融合網(wǎng)絡(luò)。

第二方面，本申請(qǐng)?zhí)峁┮环N影像驅(qū)動(dòng)的腦圖譜構(gòu)建裝置，包括：

獲取單元，用于獲取待預(yù)測(cè)的腦部的多模態(tài)數(shù)據(jù)，多模態(tài)數(shù)據(jù)是根據(jù)腦部在至少三種不同模態(tài)下采集到的影像數(shù)據(jù)得到的。