[發(fā)明專利]基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811316366.4
• 申請(qǐng)日: 2018-11-06
• 公開（公告）號(hào): CN109544517A
• 公開（公告）日: 2019-03-29
• 發(fā)明（設(shè)計(jì)）人: 王偉;匡銘;呂明德;謝曉燕;陳立達(dá);李薇;陳淑玲;徐明
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)附屬第一醫(yī)院
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06K9/62
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 顏希文;麥小嬋

1.一種基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法，適于在計(jì)算設(shè)備中執(zhí)行，其特征在于，至少包括如下步驟：

獲取病變部位的若干超聲數(shù)據(jù)，得到多模態(tài)超聲組學(xué)數(shù)據(jù)；

將所述多模態(tài)超聲組學(xué)數(shù)據(jù)輸入訓(xùn)練好的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，并根據(jù)所述多模態(tài)超聲組學(xué)數(shù)據(jù)調(diào)整神經(jīng)元的連接權(quán)重、配比卷積和池化層，得到調(diào)整后的多模態(tài)超聲組學(xué)數(shù)據(jù)；

利用不同模態(tài)下的分類器對(duì)調(diào)整后的多模態(tài)超聲組學(xué)數(shù)據(jù)中的每個(gè)數(shù)據(jù)進(jìn)行分類，得到包含每個(gè)分類的所有模態(tài)的分類概率；

根據(jù)判別器給出的模態(tài)之間的混淆分?jǐn)?shù)，對(duì)所有模態(tài)的分類概率進(jìn)行加權(quán)平均處理，得到每個(gè)分類的分?jǐn)?shù)。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法，其特征在于，所述獲取病變部位的若干超聲數(shù)據(jù)，得到多模態(tài)超聲組學(xué)數(shù)據(jù)，具體為：

基于所述病變部位的相應(yīng)疾病模型，根據(jù)不同超聲成像模式提取相應(yīng)病理生理模態(tài)的超聲數(shù)據(jù)、根據(jù)疾病所在器官灌注特征獲取相應(yīng)模態(tài)超聲數(shù)據(jù)、根據(jù)疾病所在器官隨時(shí)間動(dòng)態(tài)變化特征獲取相應(yīng)時(shí)間序列維度超聲數(shù)據(jù)，以及根據(jù)疾病所在器官空間特性獲取相應(yīng)立體維度超聲數(shù)據(jù)，得到所述多模態(tài)超聲組學(xué)數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法，其特征在于，所述將所述多模態(tài)超聲組學(xué)數(shù)據(jù)輸入訓(xùn)練好的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，并根據(jù)所述多模態(tài)超聲組學(xué)數(shù)據(jù)調(diào)整神經(jīng)元的連接權(quán)重、配比卷積和池化層，具體為：

將所述多模態(tài)超聲組學(xué)數(shù)據(jù)進(jìn)行初分類，結(jié)合無(wú)監(jiān)督算法，根據(jù)不同病理生理、血流動(dòng)力學(xué)特性、時(shí)間和空間特性形成多種特定輸入組合，輸入所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，并根據(jù)所述特定輸入組合選擇神經(jīng)元的連接權(quán)重，并配比對(duì)應(yīng)的卷積和池化層。

4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法，其特征在于，所述神經(jīng)元的連接權(quán)重，具體為：

根據(jù)所述特定輸入組合，以相等的神經(jīng)元的初始連接權(quán)重進(jìn)行分析，得到初始數(shù)據(jù)后，根據(jù)所述初始數(shù)據(jù)的錯(cuò)誤率反饋矯正所述初始連接權(quán)重，得到錯(cuò)誤率最低的最佳權(quán)重作為神經(jīng)元的連接權(quán)重。

5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法，其特征在于，所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法為：

利用共享特征網(wǎng)絡(luò)對(duì)多模態(tài)超聲組學(xué)數(shù)據(jù)進(jìn)行特征建模后，利用多路對(duì)抗域適應(yīng)技術(shù)，對(duì)不同模態(tài)進(jìn)行兩兩組合對(duì)抗學(xué)習(xí)域不變特征，得到多個(gè)模態(tài)分別和相應(yīng)輸出對(duì)抗的判別器；

同時(shí)，對(duì)每個(gè)模態(tài)分別進(jìn)行監(jiān)督學(xué)習(xí)，訓(xùn)練基于不同模態(tài)輸出下的多個(gè)分類器后，對(duì)每一個(gè)來(lái)自多模態(tài)的數(shù)據(jù)，首先利用不同源下的分類器給出多個(gè)分類結(jié)果，并基于每一個(gè)類別找到包含該類別的所有源域分類概率，再基于源域與目標(biāo)域的混淆分?jǐn)?shù)，對(duì)分類概率取加權(quán)平均得到每個(gè)類別的分?jǐn)?shù)。

6.根據(jù)權(quán)利要求5所述的基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法，其特征在于，所述訓(xùn)練基于不同模態(tài)輸出下的多個(gè)分類器，具體為：

以期望輸出值為映射，利用各模態(tài)的優(yōu)化參數(shù)，訓(xùn)練基于不同模態(tài)輸出下的多個(gè)分類器。

7.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法，其特征在于，所述深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練方法為：

采集不同時(shí)間點(diǎn)的所述多模態(tài)超聲組學(xué)數(shù)據(jù)，輸入卷積神經(jīng)網(wǎng)絡(luò)后，提取對(duì)應(yīng)的特征圖層；

通過(guò)卷積運(yùn)算，增加偏置，激活函數(shù)輸出對(duì)所述特征圖層進(jìn)行處理，并通過(guò)全連接層對(duì)所述特征圖層進(jìn)行調(diào)整分類后，通過(guò)反向傳播算法和隨機(jī)梯度下降法，訓(xùn)練所述深度學(xué)習(xí)網(wǎng)絡(luò)。

8.根據(jù)權(quán)利要求7所述的基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)為神經(jīng)元，所述卷積神經(jīng)網(wǎng)絡(luò)的要素包括權(quán)重、偏置項(xiàng)、超參數(shù)和激活函數(shù)。

9.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析方法，其特征在于，所述多模態(tài)超聲組學(xué)數(shù)據(jù)的來(lái)源包括：肝臟、乳腺、甲狀腺、腎臟、脾臟、心臟、胃腸組織、肌骨神經(jīng)組織、生殖器及附件、孕期子宮或胎兒。

10.一種基于深度學(xué)習(xí)的多模態(tài)超聲組學(xué)分析系統(tǒng)，其特征在于，包括：

獲取模塊，用于獲取病變部位的若干超聲數(shù)據(jù)，得到多模態(tài)超聲組學(xué)數(shù)據(jù)；

處理模塊，用于將所述多模態(tài)超聲組學(xué)數(shù)據(jù)輸入訓(xùn)練好的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，并根據(jù)所述多模態(tài)超聲組學(xué)數(shù)據(jù)調(diào)整神經(jīng)元的連接權(quán)重、配比卷積和池化層；

分類模塊，用于利用不同模態(tài)下的分類器對(duì)所述多模態(tài)超聲組學(xué)數(shù)據(jù)中的每個(gè)數(shù)據(jù)進(jìn)行分類，得到包含每個(gè)分類的所有模態(tài)的分類概率；

計(jì)算模塊，用于根據(jù)判別器給出的模態(tài)之間的混淆分?jǐn)?shù)，對(duì)所有模態(tài)的分類概率進(jìn)行加權(quán)平均處理，得到每個(gè)分類的分?jǐn)?shù)。