[發明專利]一種將先驗知識融入深度學習引導磁共振圖像分類的方法

有效

• 申請號: 202011485851.1
• 申請日: 2020-12-16
• 公開（公告）號: CN112561880B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 張一鴻;宋陽;楊光;張玉東;奚偉
• 申請（專利權）人: 華東師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06N3/04;G06K9/62;G06V10/774;G06V10/82;G06V10/25;G06V10/44
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種將先驗知識融入深度學習引導磁共振圖像分類的方法，該方法是對患者的磁共振圖像是否發生前列腺包膜侵犯進行圖像分類，將臨床醫生的先驗知識融入卷積神經網絡，并指導網絡進行是否發生包膜侵犯判斷。該方法利用前列腺腺體輪廓和癌灶輪廓，計算生成注意力圖，注意力圖反映了醫生在判斷包膜侵犯時認為的最有可能發生侵犯的位置。本發明改進了卷積注意力模塊，將生成的注意力圖加入到神經網絡，指導網絡更多地對可能發生侵犯的區域進行關注，從而提高網絡的評估性能。與現有技術相比，本發明能夠有效提高模型表現，對包膜侵犯進行自動分類，提高醫生的效率。

技術領域

本發明屬于圖像處理和醫學技術領域，涉及一種將先驗知識融入深度學習引導磁共振圖像分類的方法。

背景技術

前列腺癌是男性癌癥死亡的第二大原因，早期準確的診斷可以大大的提高生存率。對于前列腺癌患者，根治性前列腺切除術被認為是首選方法。手術前準確地判斷前列腺癌是否突破前列腺包膜(Extracapsular Extension，ECE)是非常重要的。為了提高術前風險評估，許多方法被用來預測包膜侵犯，但效果并不理想。

磁共振成像作為一種無創的影像方法，廣泛應用于癌癥的相關檢測中。根據歐洲放射學會的前列腺影像報告數據系統(Prostate Imaging ReportingData System，PI-RADS)第二版，通常用于檢測前列腺癌的掃描序列包括T2加權成像(T2 Weighted Imaging，T2WI)、彌散加權圖像(Diffusion Weighted Imaging，DWI)、動態增強圖像(DynamicContrast Enhanced Image，DCE)等。多個序列的圖像信息可以相互補充，但多個序列的閱片也對臨床醫生的判斷提出更高要求，判斷正確與否依賴于醫生的臨床經驗。計算機輔助判斷(Computer-Aided Diagnosis，CAD)能夠通過分析大量數據，提取圖像中的有效特征，對包膜侵犯進行有效判斷。

近年來，基于卷積神經網絡(Convolutional Neural Network，CNN)的深度學習方法，在圖像的分割、檢測和分類中發揮著越來越重要的作用。但相比自然圖像，醫學影像普遍存在數據量小的問題，深度學習網絡訓練時容易發生過擬合，所以利用臨床醫生的先驗知識，為網絡增加約束，從而避免過擬合的發生，就成為醫學影像人工智能中的常用方法。而如何有效地將具體臨床問題的先驗知識融合到深度學習網絡中，也成為了一個研究的熱點問題。

發明內容

醫生在評估病人是否發生前列腺包膜侵犯的時候，通常會先觀察癌灶和腺體邊界之間的相對位置來做最初的判斷。為了達到用醫生的該先驗知識指導網絡訓練的目的，本發明基于醫生對磁共振圖像預先勾畫的或者由深度學習模型自動勾畫的腺體區域和癌灶區域自動生成可以反映發生包膜侵犯概率的注意力圖，并創新地將生成的注意力圖和已有的自適應的注意力模塊相結合，由此在深度學習中引入先驗知識，引導網絡的訓練過程，關注可能發生包膜侵犯的區域，提高模型分類準確率。

這種基于深度學習對磁共振圖像是否發生前列腺包膜侵犯進行分類的方法，特點在于利用臨床醫生手工勾畫或者人工智能模型自動勾畫的腺體區域和癌灶區域，生成注意力圖，并作為神經網絡的輸入對模型訓練進行指導，對包膜侵犯進行評估；該方法包括以下具體步驟：

步驟1：對患者進行磁共振掃描得到磁共振圖像，自動或者手動在磁共振圖像上對前列腺腺體和癌灶邊緣進行勾畫，得到腺體和癌灶的輪廓；

步驟2：生成一張與磁共振圖像大小相同的空白圖作為注意力圖，通過以下的操作，設置所述空白圖上的像素值；具體包括：

1)取磁共振圖像上癌灶內的任一像素點；

2)若該像素點不在腺體輪廓內，將注意力圖中對應位置的像素點的像素值設為1；

3)若該像素點在腺體內部，計算該像素點到腺體邊界的距離d_p，注意力圖對應像素點的像素值設置為αr/d_p，其中r為圖像分辨率，α用于控制像素值的衰減程度，d_p越小，像素值越大；