[發明專利]一種醫學圖像分割方法、系統、終端以及存儲介質

在審

• 申請號: 202111387233.8
• 申請日: 2021-11-22
• 公開（公告）號: CN114266726A
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 樂美琰;秦文健;謝耀欽
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06K9/62;G06N3/04;G06N3/08;G06V10/25;G06V10/44;G06V10/764
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 孟潔

1.一種醫學圖像分割方法，其特征在于，包括：

獲取第一模態圖像和第二模態圖像，并利用簡單線性迭代聚類算法對所述第一模態圖像和第二模態圖像進行超像素提?。?/p>

分別根據所述第一模態圖像和第二模態圖像的超像素為節點構建第一模態圖神經網絡和第二模態圖神經網絡，所述第一模態圖神經網絡和第二模態圖神經網絡根據中心位置距離及灰度均值差異計算每個超像素與鄰域超像素的鄰接矩陣，并根據鄰接矩陣計算每個超像素在當前模態下的特征值；

根據所述第一模態圖像和第二模態圖像的超像素為跨模態節點構建多模態圖神經網絡，所述多模態圖神經網絡根據不同模態圖像中每個跨模態節點的位置以及與K個鄰域節點的連接模式構建每個跨模態節點的鄰接矩陣；

根據所述跨模態節點的鄰接矩陣獲取每個跨模態節點在其他模態下的K個鄰近節點，將每個跨模態節點在其他模態下的K個鄰近節點的特征值與對應超像素在當前模態下的特征值進行融合，得到特征融合后的多模態特征圖；

通過分割網絡對所述多模態特征圖進行圖像分割。

2.根據權利要求1所述的醫學圖像分割方法，其特征在于，所述第一模態圖像為CT圖像，所述第二模態圖像為MR圖像。

3.根據權利要求2所述的醫學圖像分割方法，其特征在于，所述第一模態圖神經網絡和第二模態圖神經網絡根據中心位置距離及灰度均值差異計算每個超像素與鄰域超像素的鄰接矩陣具體為：

其中W^k，j表示第k個超像素與鄰域內的第j個超像素的鄰接關系，ΔP^k，j和ΔG^k，j分別表示第k個超像素與第j個超像素的中心位置和灰度均值的差異，[·||·]表示向量連接，f_w表示位置灰度差異與鄰接矩陣之間的映射關系，表示超像素節點k的鄰域。

4.根據權利要求3所述的醫學圖像分割方法，其特征在于，所述根據鄰接矩陣計算每個超像素在當前模態下的特征值具體為：

從網絡卷積層輸出的特征圖中提取每個超像素的特征向量；

通過所述鄰接矩陣確定各個超像素在當前模態下的K個鄰域節點，對K個鄰域節點的特征向量進行加權求和，得到各個超像素在當前模態下的新特征；

將所述新特征與對應超像素內所有像素點的特征值相加，得到各個超像素在當前模態下的特征值；在第i個尺度下第k個超像素的特征向量f_i，k的計算過程包括：

其中，S_k表示第k個超像素，F_i，p表示第i個尺度下第k個超像素內像素點p的特征向量；利用鄰接矩陣W對f_i，j進行加權，得到第i個尺度下第k個超像素的新特征f′_i，k。

5.根據權利要求4所述的醫學圖像分割方法，其特征在于，所述多模態圖神經網絡根據不同模態圖像中每個跨模態節點的位置以及與K個鄰域節點的連接模式構建每個跨模態節點的鄰接矩陣具體為：

其中W^k，*表示第一模態圖像中第k個節點與其鄰域節點的連接模式，sim(W^k，*，W^j，*)表示第一模態圖像中第k個節點與第二模態圖像中第j個節點的連接模式相似度，f_cross表示位置差異、連接模式相似度與跨模態鄰接矩陣之間的映射關系。