[發(fā)明專利]一種基于多模型融合的血管內(nèi)超聲圖像斑塊識別方法

在審

• 申請?zhí)枺?/td>: 202210239809.4
• 申請日: 2022-03-12
• 公開（公告）號: CN114612746A
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 汪友生;高雪
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

本發(fā)明公開了一種基于多模型融合的血管內(nèi)超聲圖像斑塊識別方法，先使用卷積層提取圖像特征并擴(kuò)充特征圖數(shù)量，將特征圖輸入至多個擠壓與激勵殘差模塊，擴(kuò)充特征圖數(shù)量，提取深層特征的同時重新自適應(yīng)的校準(zhǔn)了特征通道之間的依賴性，改善網(wǎng)絡(luò)對于特征信息的敏感度，通過殘差塊實(shí)現(xiàn)對于圖像信息的多層復(fù)用并解決了深度學(xué)習(xí)中的梯度爆炸問題。經(jīng)過多次訓(xùn)練得到訓(xùn)練好的斑塊識別模型。本發(fā)明使得原有IVUS醫(yī)學(xué)圖像特征僅由殘差模塊采集提取，改進(jìn)為擠壓與激勵模塊和殘差模塊共同決定，使得模型對于訓(xùn)練醫(yī)學(xué)圖像特征提取更為全面，由于殘差模塊存在，避免了深層網(wǎng)絡(luò)的梯度爆炸等問題，從而能夠有效提升殘差網(wǎng)絡(luò)對于血管內(nèi)超聲圖像斑塊識別的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺和圖像識別技術(shù)領(lǐng)域，特別涉及一種基于多模型融合的血管內(nèi)超聲圖像斑塊識別方法。

背景技術(shù)

臨床研究表明心腦血管疾病的基礎(chǔ)病理是動脈粥樣硬化，由于血液中的脂類物質(zhì)在冠狀動脈血管內(nèi)壁上沉淀、增厚，當(dāng)沉積的厚度達(dá)到一定尺寸時就形成了各種血管斑塊，影響了血液的流動，一旦發(fā)生嚴(yán)重狹窄堵塞或栓塞時，心肌供血受到影響從而發(fā)生心肌梗塞。由于發(fā)病時極其快速，短時間內(nèi)不接受緊急治療就會造成死亡。早期發(fā)現(xiàn)心血管疾病，及時地進(jìn)行干預(yù)和治療對于心血管疾病的治療具有重要的意義，也是臨床研究的重點(diǎn)。

血管內(nèi)超聲(intravascular ultrasound，IVUS)是目前臨床最常用的微創(chuàng)血管內(nèi)成像技術(shù)，能在活體中描述血管壁復(fù)雜的解剖結(jié)構(gòu)，因此在臨床中被廣泛應(yīng)用，成為診斷心血管疾病的一種有效工具。但是，臨床上對不同斑塊的識別主要是醫(yī)生根據(jù)經(jīng)驗(yàn)判斷，這種主觀判斷方法很容易受到個人經(jīng)驗(yàn)、思維方式、技術(shù)水平等因素的影響。隨著軟硬件技術(shù)飛速發(fā)展，以深度學(xué)習(xí)、圖像處理技術(shù)為基礎(chǔ)，結(jié)合醫(yī)學(xué)成像技術(shù)，分析圖像的斑塊，進(jìn)而輔助醫(yī)生選擇合適的治療方案，這樣可以提升診斷的可靠性和準(zhǔn)確性。

深度學(xué)習(xí)(deep learning)的代表算法之一是卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeural Networks,CNN)，它是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Networks)，但隨著網(wǎng)絡(luò)深度的增加，也帶來了另外的問題，梯度消失和系統(tǒng)性能的退化，因此，殘差結(jié)構(gòu)用來設(shè)計(jì)解決了退化問題，同時解決了梯度的問題。但在ResNet中，將輸入直接跨層引到更深的網(wǎng)絡(luò)層上作為輸入的一部分，使得數(shù)據(jù)可以在網(wǎng)絡(luò)中實(shí)現(xiàn)跨層流動，這時提取的圖像特征無法很好的表征原始圖像信息。考慮模型無法從訓(xùn)練樣本中提取出足夠多且準(zhǔn)確的先驗(yàn)信息，設(shè)計(jì)提取特征更加精準(zhǔn)的殘差網(wǎng)絡(luò)用來進(jìn)行識別任務(wù)具有重要的學(xué)術(shù)意義和實(shí)用價值。

發(fā)明內(nèi)容

基于背景技術(shù)存在的技術(shù)問題，本發(fā)明從提取特征上改進(jìn)Resnet圖像識別算法，提出了一種基于多模型融合的血管內(nèi)超聲圖像斑塊識別方法。將擠壓與激勵模塊和殘差模塊進(jìn)行融合，通過顯式地建模通道之間的相互依賴性，自適應(yīng)地重新校準(zhǔn)通道特征響應(yīng)使網(wǎng)絡(luò)能夠通過融合各層局部感受野中的空間和信道信息來構(gòu)造信息特征，以此提高整個特征層次的空間編碼質(zhì)量來增強(qiáng)神經(jīng)網(wǎng)絡(luò)的表現(xiàn)力。圖1為該方法的模型結(jié)構(gòu)圖，圖2為該方法的網(wǎng)絡(luò)結(jié)構(gòu)圖。

本發(fā)明的步驟如下：

步驟1，使用IVUS血管內(nèi)超聲圖像重建數(shù)據(jù)集——其中包括圖像訓(xùn)練集和圖像測試集；

步驟2，分別對訓(xùn)練數(shù)據(jù)集、測試數(shù)據(jù)集中的鈣化斑塊圖像、纖維斑塊圖像、脂質(zhì)斑塊圖像進(jìn)行擴(kuò)充處理，最后化為40X40像素的圖像。

步驟3，構(gòu)建改進(jìn)的擠壓與激勵殘差塊結(jié)構(gòu)，具體模型結(jié)構(gòu)如圖1所示，請?jiān)敿?xì)描述下結(jié)構(gòu)組成及相應(yīng)邏輯、功能關(guān)系。

步驟4，根據(jù)由上一步驟構(gòu)建的擠壓與激勵殘差塊，使用模塊堆疊的方法來實(shí)現(xiàn)整個識別網(wǎng)絡(luò)。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

步驟4.1將數(shù)據(jù)集中的圖片輸入至第一層卷積層，由3×3卷積層對其進(jìn)行特征信息提取并將特征圖數(shù)量擴(kuò)充到64幅，然后進(jìn)入BN層和激活函數(shù)(ReLu)層修正參數(shù)。