[發明專利]一種基于雙向相關性的one-shot腦圖像分割方法

有效

• 申請號: 202011186634.2
• 申請日: 2020-10-29
• 公開（公告）號: CN112348786B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 王連生
• 申請（專利權）人: 廈門大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶

1.一種基于雙向相關性的one-shot腦圖像分割方法，其特征在于，包括以下步驟：

S1、獲取腦解剖結構圖像并進行分類，得到已標注影像和未標注影像y，并將已標注影像劃分為圖集x；

S2、構建圖像變換模型，圖像變換模型包括生成器G_F、生成器G_B及兩個判別器D，生成器G_F、生成器G_B均匹配一判別器D，生成器G_F與生成器G_B結構相同均包括孿生編碼器及解碼器；

所述生成器G_F及生成器G_B還包括雙注意模塊，所述孿生編碼器包括若干個用于提取圖像淺層特征的編碼子模塊，通過編碼子模塊分流處理圖集x及未標注影像y，或通過編碼子模塊分流處理重建影像及圖集x，將提取得到相關特征圖輸入雙注意模塊，通過雙注意模塊分別學習相關特征圖的空間信息及通道信息并輸送給解碼器，解碼器包括有與編碼子模塊數量相匹配的解碼子模塊；

所述編碼子模塊具有5個分別為第一編碼子模塊、第二編碼子模塊、第三編碼子模塊、第四編碼子模塊及第五編碼子模塊并組成1個處理流，通過2個處理流分別處理圖集x及未標注影像y，或通過2個處理流分別處理重建影像及圖集x，2個處理流同時連接一個第五編碼子模塊，第五編碼子模塊與雙注意模塊相連接；所述解碼子模塊具有5個分別為第一解碼子模塊、第二解碼子模塊、第三解碼子模塊、第四解碼子模塊及第五解碼子模塊，第一解碼子模塊與雙注意模塊相連接，第二解碼子模塊接收第一解碼子模塊并分別與2個處理流的第四編碼子模塊進行長連接，第三解碼子模塊接收第二解碼子模塊并分別與2個處理流的第三編碼子模塊進行長連接，第四解碼子模塊接收第三解碼子模塊并分別與2個處理流的第二編碼子模塊進行長連接，第五解碼子模塊接收第四解碼子模塊，第五解碼子模塊輸出圖集x到未標注影像y的前向映射Δp_F，或第五解碼子模塊輸出重建影像到圖集x的后向映射Δp_B；

S3、將圖集x及未標注影像y輸入生成器G_F分流處理，通過生成器G_F的孿生編碼器提取相關特征圖并進行融合后輸入解碼器，解碼器與孿生編碼器相配合，得到圖集x到未標注影像y的前向映射Δp_F；

S4、將圖集x通過warp操作得到重建影像通過判別器D區分開重建影像與未標注影像y，判別器D與生成器G_F進行對抗，使得生成器G_F生成與未標注影像y相似的重建影像

S5、將重建影像及圖集x輸入生成器G_B，通過生成器G_B得到的孿生編碼器提取相關特征圖并進行融合后輸入解碼器，解碼器與孿生編碼器相配合，得到重建影像到圖集x的后向映射Δp_B；

S6、將重建影像通過warp操作得到重建影像通過判別器D區分開重建影像與圖集x，判別器D與生成器G_B進行對抗，使得生成器G_B生成與圖集x相似的重建影像

S7、根據重建影像與圖集x的相似度，使得生成器G_F、判別器D及生成器G_B相互約束，得到最終的前向映射Δp_F ，將前向映射Δp_F 通過warp操作應用在圖集x的標注上，得到有標注重建影像

2.如權利要求1所述的一種基于雙向相關性的one-shot腦圖像分割方法，其特征在于：所述雙注意模塊包括空間注意模塊及通道模塊，分別在空間和通道維度上捕捉信息，將空間注意模塊與通道注意模塊的結果相加，得到新的特征圖。

3.如權利要求2所述的一種基于雙向相關性的one-shot腦圖像分割方法，其特征在于：所述編碼子模塊通過基本殘差模塊堆疊的ResNet-34組成。

4.如權利要求1所述的一種基于雙向相關性的one-shot腦圖像分割方法，其特征在于：所述判別器D采用PatchGAN判別器。