[發(fā)明專利]基于深度學習的多模態(tài)超聲組學分析方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201811316366.4
• 申請日: 2018-11-06
• 公開（公告）號: CN109544517A
• 公開（公告）日: 2019-03-29
• 發(fā)明（設計）人: 王偉;匡銘;呂明德;謝曉燕;陳立達;李薇;陳淑玲;徐明
• 申請（專利權）人: 中山大學附屬第一醫(yī)院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 顏希文;麥小嬋

本發(fā)明公開了一種基于深度學習的多模態(tài)超聲組學分析方法及系統(tǒng)，包括：獲取病變部位的若干超聲數(shù)據(jù)，得到多模態(tài)超聲組學數(shù)據(jù)；將多模態(tài)超聲組學數(shù)據(jù)輸入深度學習神經(jīng)網(wǎng)絡，根據(jù)多模態(tài)超聲組學數(shù)據(jù)調整神經(jīng)元的連接權重、配比卷積和池化層，得到調整后的多模態(tài)超聲組學數(shù)據(jù)；利用不同模態(tài)下的分類器對多模態(tài)超聲組學數(shù)據(jù)進行分類，并通過判別器得到每個分類的分析結果，即每個分類的分數(shù)。相比于現(xiàn)有通過建立單模態(tài)醫(yī)學圖像的深度學習模型進行醫(yī)學圖像的分割、分類和識別的方法，本發(fā)明技術方案通過訓練好的深度學習網(wǎng)絡模型對優(yōu)化后的多模態(tài)超聲組學數(shù)據(jù)進行數(shù)據(jù)分析，提高超聲圖像獲取的準確性，減少工作量。

技術領域

本發(fā)明涉及超聲醫(yī)學技術領域，尤其涉及一種基于深度學習的多模態(tài)超聲組學分析方法及系統(tǒng)。

背景技術

隨著精準醫(yī)療及大數(shù)據(jù)的來臨，對通過超聲成像模式提取的病變部位的特征數(shù)據(jù)進行分析及應用已成為臨床醫(yī)學的核心環(huán)節(jié)之一。由于醫(yī)院每日通過超聲成像模式提取的特征數(shù)據(jù)成千上萬，因此醫(yī)護人員需要對特征數(shù)據(jù)進行人工識別的工作量較大。現(xiàn)有技術中，通過建立單模態(tài)醫(yī)學圖像的深度學習模型進行醫(yī)學圖像的分割、分類和識別等，但實際疾病是受到的影響是由不同病理生理、血流動力學、空間及時間狀態(tài)相互交互產(chǎn)生的，因此，利用單模態(tài)醫(yī)學圖像的深度學習模型進行圖像的分類，得到的結果與實際分類結果偏差較大。

發(fā)明內容

本發(fā)明實施例提出一種基于深度學習的多模態(tài)超聲組學分析方法及系統(tǒng)，通過訓練好的深度學習網(wǎng)絡模型對優(yōu)化后的多模態(tài)超聲組學數(shù)據(jù)進行數(shù)據(jù)分析，提高超聲圖像獲取的準確性，減少工作量。

為解決上述問題，本發(fā)明實施例提供基于深度學習的多模態(tài)超聲組學分析方法，適于在計算設備中執(zhí)行，至少包括如下步驟：

獲取病變部位的若干超聲數(shù)據(jù)，得到多模態(tài)超聲組學數(shù)據(jù)；

將所述多模態(tài)超聲組學數(shù)據(jù)輸入訓練好的深度學習神經(jīng)網(wǎng)絡，并根據(jù)所述多模態(tài)超聲組學數(shù)據(jù)調整神經(jīng)元的連接權重、配比卷積和池化層，得到調整后的多模態(tài)超聲組學數(shù)據(jù)；

利用不同模態(tài)下的分類器對調整后的多模態(tài)超聲組學數(shù)據(jù)中的每個數(shù)據(jù)進行分類，得到包含每個分類的所有模態(tài)的分類概率；

根據(jù)判別器給出的模態(tài)之間的混淆分數(shù)，對所有模態(tài)的分類概率進行加權平均處理，得到每個分類的分數(shù)。

進一步的，所述獲取病變部位的若干超聲數(shù)據(jù)，得到多模態(tài)超聲組學數(shù)據(jù)，具體為：

基于所述病變部位的相應疾病模型，根據(jù)不同超聲成像模式提取相應病理生理模態(tài)的超聲數(shù)據(jù)、根據(jù)疾病所在器官灌注特征獲取相應模態(tài)超聲數(shù)據(jù)、根據(jù)疾病所在器官隨時間動態(tài)變化特征獲取相應時間序列維度超聲數(shù)據(jù)，以及根據(jù)疾病所在器官空間特性獲取相應立體維度超聲數(shù)據(jù)，得到所述多模態(tài)超聲組學數(shù)據(jù)。

進一步的，所述將所述多模態(tài)超聲組學數(shù)據(jù)輸入訓練好的深度學習神經(jīng)網(wǎng)絡，并根據(jù)所述多模態(tài)超聲組學數(shù)據(jù)調整神經(jīng)元的連接權重、配比卷積和池化層，具體為：

將所述多模態(tài)超聲組學數(shù)據(jù)進行初分類，結合無監(jiān)督算法，根據(jù)不同病理生理、血流動力學特性、時間和空間特性形成多種特定輸入組合，輸入所述深度學習神經(jīng)網(wǎng)絡，并根據(jù)所述特定輸入組合選擇神經(jīng)元的連接權重，并配比對應的卷積和池化層。

進一步的，所述神經(jīng)元的連接權重，具體為：

根據(jù)所述特定輸入組合，以相等的神經(jīng)元的初始連接權重進行分析，得到初始數(shù)據(jù)后，根據(jù)所述初始數(shù)據(jù)的錯誤率反饋矯正所述初始連接權重，得到錯誤率最低的最佳權重作為神經(jīng)元的連接權重。

進一步的，所述深度學習神經(jīng)網(wǎng)絡的構建方法為：

利用共享特征網(wǎng)絡對多模態(tài)超聲組學數(shù)據(jù)進行特征建模后，利用多路對抗域適應技術，對不同模態(tài)進行兩兩組合對抗學習域不變特征，得到多個模態(tài)分別和相應輸出對抗的判別器；同時，