[發明專利]一種基于半多模態融合特征約簡框架的圖像分類方法

有效

• 申請號: 201711174750.0
• 申請日: 2017-11-22
• 公開（公告）號: CN107944490B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 張祖平;曹坪;陽潔
• 申請（專利權）人: 中南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 長沙七源專利代理事務所(普通合伙) 43214
• 代理人: 鄭雋;周曉艷

本發明公開了一種基于半多模態融合特征約簡框架的圖像分類方法，即通過保持來自腦功能和結構網絡特征向量之間的關系，更好地捕捉多個模態數據的互補信息，使得疾病分類準確率進一步提升。本發明充分挖掘腦結構網絡數據提供的參考信息，從腦功能網絡特征向量矩陣中選擇有效的特征數據，在已有K?support范式的基礎上增加新約束來保留不同模態特征數據的距離，分析與實驗結果表明，本發明提出的基于半多模態融合特征約簡框架框架優于已有的KSN和NF?KSN方法。同時，本發明所選擇出的一致性網絡連接全面考慮了其在結構以及功能網絡層面與疾病的相關性，而不只局限于功能網絡層面，將選擇出的一致性網絡連接作為疾病生物標記的可信賴性更強。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種基于半多模態融合特征約簡框架的圖像分類方法。

背景技術

近年來，腦影像學技術，包括結構磁共振成像(sMRI)、彌散張量成像(DTI)和功能磁共振成像(fMRI)技術，已經證明了其對揭示疾病進展的臨床醫學研究過程中具有重要的意義。

其中，采用多元模式分類分析(MVPA)等機器學習算法對健康和患病腦的區分為當前腦影像學研究的熱點之一。目前相關的研究工作大都圍繞多模態多任務的方法進行展開，它充分利用了多種模態數據的互補信息，并取得了不錯的分類效果。同時，多模態多任務的分析方法主要經歷了三種發展歷程：(1)抽取各模態數據的特征疊加成一個矢量；(2)組稀疏(例如，L2,1范數)，即假定同一類模態的數據特征同時為零或非零；以及(3)模態間的制約關系，即考慮了各模態數據內在聯系。與前兩種類型相比，后一種類型充分探討了模態間的潛在關系，并又不像第二種類型那樣嚴格，使得一個模態的所有特征數據被同時選擇或排除。

大部分的神經精神疾病都屬于異質性的疾病，其癥狀與負責情緒或認知功能的分布式神經網絡失調有關，大規模分布式神經網絡的失調可從腦功能網絡和腦結構網絡兩個層面上表達。一般來講，腦功能網絡可采用組間統計比較和多元模式方法分析，但這些方法并不適用于檢測與疾病相關的腦結構網絡。本發明提出的半多模態融合的圖像分類方法是建立在基于腦結構網絡和腦功能網絡連接特征融合的基礎上。同時，與傳統的多模態多任務方法不同的是，本發明中的腦結構網絡僅用于提供特征選擇的補充信息，但不參與后期分類過程。本發明通過保持來自腦功能和結構網絡中特征向量之間的關系，更好地捕捉了多個模態數據的互補信息以實現疾病的早發現早診斷早治療。同時，本發明對于揭示疾病進展的臨床醫學研究過程中具有重要的意義。

發明內容

本發明提供一種基于半多模態融合特征約簡框架的圖像分類方法，以充分利用來自多模態神經影像數據的互補信息來提升分類準確率；同時，本發明所選擇出的一致性網絡連接全面考慮了其在結構以及功能層面與疾病的相關性，而不只局限于功能連接層面，將選擇出的一致性網絡連接作為疾病生物標記的可信賴性更強。具體是將腦結構網絡特征作為輔助信息，而不作為后續分類的主體因素，為從腦功能網絡連接中選擇特征數據提供參考信息，在原有K-support范式的基礎上增加一項新約束來保留不同模態特征數據的距離，將綜合功能和結構兩個層面所選擇出的網絡連接進行后續的分類操作。具體方案如下：

一種基于半多模態融合特征約簡框架的圖像分類方法，包括以下步驟：

第一步、獲取數據，具體是：獲取多個被試對象的sMRI數據和rs-fMRI數據，并進行預處理，得到預處理后的sMRI數據和預處理后的rs-fMRI數據；計算預處理后的sMRI數據的灰度體積值；