[發明專利]一種基于多借鑒信息的醫學影像智能轉換方法

有效

• 申請號: 202210258218.1
• 申請日: 2022-03-16
• 公開（公告）號: CN114638745B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 錢鵬江;蔣亦樟;王士同;姚健;汪小川;陳愛國;顧逸;張欣
• 申請（專利權）人: 江南大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/33;G06N3/0464;G06N3/0455;G06N3/0985
• 代理公司: 無錫華源專利商標事務所(普通合伙) 32228
• 代理人: 過顧佳

1.一種基于多借鑒信息的醫學影像智能轉換方法，其特征在于，所述方法包括：

獲取待轉換MR圖像；

將所述待轉換MR圖像輸入醫學影像轉換模型，所述醫學影像轉換模型包括編碼模塊、注意力機制模塊、解碼模塊和多借鑒信息提取模塊，所述編碼模塊對所述待轉換MR圖像進行編碼后提取第一特征圖，所述注意力機制模塊將所述第一特征圖轉換為第二特征圖，所述第二特征圖輸入所述解碼模塊依次經過各個級聯的解碼層，所述編碼模塊與所述解碼模塊之間還采用跳過連接；所述多借鑒信息提取模塊提取所述待轉換MR圖像的若干層多借鑒信息，各層多借鑒信息反映所述待轉換MR圖像的高維特征并分別輸入各個解碼層中；所述解碼模塊中的各個解碼層分別獲取輸入的特征圖、輸入的多借鑒信息以及編碼模塊輸入的信息并進行解碼處理；所述多借鑒信息提取模塊包括高維特征預測單元和CT圖像解碼器，所述CT圖像解碼器包括若干個級聯的解碼層，所述CT圖像解碼器是基于VAE網絡訓練得到的CT圖像自編碼單元中的解碼器；所述高維特征預測單元包括MR圖像編碼器和特征預測器，所述MR圖像編碼器是基于VAE網絡訓練得到的MR圖像自編碼單元中的編碼器，所述特征預測器基于PixelCNN+網絡訓練得到；所述MR圖像編碼器用于提取所述待轉換MR圖像的高維特征，所述特征預測器用于基于所述待轉換MR圖像的高維特征生成對應的CT圖像的高維特征預測結果；所述CT圖像解碼器對所述高維特征預測結果進行解碼，由CT圖像解碼器的各個解碼層分別輸出各層多借鑒信息；根據所述醫學影像轉換模型的輸出得到由所述待轉換MR圖像轉換得到的CT圖像。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

分別獲取同一個人體組織區域在相同狀態下的樣本MR圖像和樣本CT圖像作為一對樣本組；

對于每一個樣本組，獲取當前的樣本組中的樣本MR圖像經過預先訓練得到的MR圖像自編碼單元中的編碼器后提取得到的MR高維特征，獲取當前的樣本組中的樣本CT圖像經過預先訓練得到的CT圖像自編碼單元中的編碼器后提取得到的CT高維特征；

將每個樣本組提取得到的MR高維特征作為輸入、CT高維特征作為輸出，利用各個樣本組基于PixelCNN+網絡訓練得到所述特征預測器；

基于訓練得到的特征預測器、MR圖像自編碼單元和CT圖像自編碼單元，將每個樣本組中的樣本MR圖像作為輸入、樣本CT圖像作為輸出，訓練得到所述醫學影像轉換模型。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

利用所有樣本MR圖像基于VAE網絡訓練得到所述MR圖像自編碼單元，所述MR圖像自編碼單元中包括編碼器和解碼器；

利用所有樣本CT圖像基于VAE網絡訓練得到所述CT圖像自編碼單元，所述CT圖像自編碼單元中包括編碼器和解碼器。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

采用基于特征的剛性配準方法Morphons對樣本MR圖像和樣本CT圖像進行變形配準；

利用完成圖像配準操作的樣本組進行模型訓練。

5.根據權利要求4所述的方法，其特征在于，所述利用完成圖像配準操作的樣本組進行模型訓練，包括：

采用隨機裁剪和位置變換的方法對完成圖像配準操作的樣本組構成的原始數據集進行數據集擴充，得到不改變原始數據集的醫學信息的擴充數據集；

利用所述擴充數據集進行模型訓練。