[發(fā)明專(zhuān)利]基于深度學(xué)習(xí)和光流法的心臟冠狀動(dòng)脈影像分割識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811016723.5
• 申請(qǐng)日: 2018-09-03
• 公開(kāi)（公告）號(hào): CN109146872B
• 公開(kāi)（公告）日: 2021-12-17
• 發(fā)明（設(shè)計(jì)）人: 張洪剛;梁梟;王筱斐;陳東浩;葉丹
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京郵電大學(xué)
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06T7/10;G06N3/04
• 代理公司: 北京挺立專(zhuān)利事務(wù)所(普通合伙) 11265
• 代理人: 葉樹(shù)明

1.一種基于深度學(xué)習(xí)和光流法的心臟冠狀動(dòng)脈影像分割識(shí)別方法，其特征在于，包括：

選取分段心臟造影Dicom視頻中任意連續(xù)兩幀圖片作為訓(xùn)練樣本，將訓(xùn)練樣本輸入神經(jīng)網(wǎng)絡(luò)中；神經(jīng)網(wǎng)絡(luò)基于所述訓(xùn)練樣本，計(jì)算連續(xù)兩幀圖片之間的光流信息作為兩幀之間的映射，同時(shí)將光流信息輸入神經(jīng)網(wǎng)絡(luò)中；

神經(jīng)網(wǎng)絡(luò)通過(guò)深度學(xué)習(xí)的方法對(duì)前一幀圖片及光流信息得到的第三特征圖及當(dāng)前幀圖片得到的第四特征圖組合得到的第五特征圖輸入金字塔模塊中，金字塔模塊基于第五特征圖應(yīng)用金字塔融合的方法得到不同尺度的心臟血管特征圖；反卷積層通過(guò)雙線性插值的方法將不同尺度的心臟血管特征圖沿著一個(gè)維度合并到一起，得到心臟冠狀動(dòng)脈影像分割識(shí)別血管圖；

所述分段心臟造影Dicom視頻的獲取方法包括：接收醫(yī)療綜合數(shù)據(jù)庫(kù)中存儲(chǔ)的與病變種類(lèi)信息對(duì)應(yīng)的整段心臟造影Dicom視頻；基于病變種類(lèi)信息，使用結(jié)構(gòu)分割網(wǎng)絡(luò)協(xié)同分析整段心臟造影Dicom視頻中出現(xiàn)的關(guān)鍵特征信息；基于關(guān)鍵特征信息并結(jié)合體位信息，對(duì)整段Dicom視頻進(jìn)行分段，并迭代所述基于病變種類(lèi)信息，使用結(jié)構(gòu)分割網(wǎng)絡(luò)協(xié)同分析整段心臟造影Dicom視頻中出現(xiàn)的關(guān)鍵特征信息；基于關(guān)鍵特征信息并結(jié)合體位信息，對(duì)整段Dicom視頻進(jìn)行分段步驟，直到最終找到滿足設(shè)定的分段視頻；

所述神經(jīng)網(wǎng)絡(luò)通過(guò)深度學(xué)習(xí)的方法對(duì)前一幀圖片及光流信息得到的第三特征圖的步驟包括：將兩幀圖片中的前一幀圖片取出輸入卷積模塊，運(yùn)行模型計(jì)算圖，取出計(jì)算過(guò)程中最后一個(gè)卷積層輸出的第一特征圖；將光流信息輸入卷積模塊中進(jìn)行主要特征提取，得到第二特征圖；打包層接收第一特征圖和第二特征圖，對(duì)第一特征圖和第二特征圖進(jìn)行線性插值的操作，將第一特征圖和第二特征圖進(jìn)行有效信息的融合，得到第三特征圖。

2.如權(quán)利要求1所述的方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)模塊由多層相同單元多次堆疊而成，同時(shí)讀取預(yù)訓(xùn)練模型參數(shù)；

所述單元從上到下依次為卷積層、批規(guī)范化層、快捷連接層、激活函數(shù)層。

3.如權(quán)利要求1所述的方法，其特征在于，得到所述第四特征圖的步驟包括：

神經(jīng)網(wǎng)絡(luò)將當(dāng)前幀圖片輸入卷積模塊進(jìn)行特征提取，取出最后一個(gè)卷積層的輸出得到第四特征圖。

4.如權(quán)利要求1所述的方法，其特征在于，得到所述第五特征圖的步驟包括：

組合層將第三特征圖和第四特征圖分別乘以不同的權(quán)重之后相加，得到第五特征圖。

5.如權(quán)利要求1-4之一所述的方法，其特征在于，還包括參數(shù)更新的步驟，該步驟包括：

比較輸出的心臟冠狀動(dòng)脈影像分割識(shí)別血管圖和醫(yī)生精標(biāo)注的心臟冠狀動(dòng)脈影像分割識(shí)別血管圖的不同得到損失值，通過(guò)梯度下降法對(duì)神經(jīng)網(wǎng)絡(luò)各個(gè)層的參數(shù)進(jìn)行更新；迭代運(yùn)行所有的步驟，直到通過(guò)神經(jīng)網(wǎng)絡(luò)分割和識(shí)別出的心臟冠狀動(dòng)脈影像分割識(shí)別血管圖與醫(yī)生精標(biāo)注的心臟冠狀動(dòng)脈影像分割識(shí)別血管圖之間損失值低于預(yù)設(shè)的閾值。

6.如權(quán)利要求1所述的方法，其特征在于，還包括測(cè)試步驟，該步驟包括：

步驟一：讀取拍攝到的患者的心臟造影Dicom視頻文件，提取關(guān)鍵幀，輸入神經(jīng)網(wǎng)絡(luò)；并讀取該體位對(duì)應(yīng)的模型參數(shù)；

步驟二：神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化，建立多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并讀取訓(xùn)練好的對(duì)應(yīng)體位的模型參數(shù)；

步驟三：神經(jīng)網(wǎng)絡(luò)接收患者的心臟造影Dicom視頻圖像，通過(guò)深度學(xué)習(xí)的方法對(duì)輸入圖片進(jìn)行血管的分割和檢測(cè)，輸出不同體位關(guān)鍵幀的血管分割識(shí)別圖片；

步驟四：對(duì)不同體位重復(fù)步驟一到步驟三，直到將所有體位的關(guān)鍵幀處理完畢。