[發明專利]多模態圖像的配準方法、裝置、存儲介質及處理器

在審

• 申請號: 202110386157.2
• 申請日: 2021-04-09
• 公開（公告）號: CN113012204A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 周琦超;孔令軻;徐壽平
• 申請（專利權）人: 福建自貿試驗區廈門片區Manteia數據科技有限公司
• 主分類號: G06T7/30
• 分類號: G06T7/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周春枚

1.一種多模態圖像的配準方法，其特征在于，包括：

將第一模態圖像通過第一生成器轉換為第二模態圖像；

將所述第二模態圖像與目標模態圖像輸入配準網絡進行配準，得到形變場，其中，所述第二模態圖像與所述目標模態圖像的模態相同；

基于所述形變場對所述第一模態圖像進行配準。

2.根據權利要求1所述的方法，其特征在于，基于所述形變場對所述第一模態圖像進行配準包括：

將所述形變場通過空間變壓網絡作用在所述第二模態圖像上，得到配準的結果；

將所述配準的結果進行逆向循環變換，通過第二生成器轉換為第三模態圖像；

采用所述第三模態圖像對所述第一模態圖像進行配準，其中，所述第一模態圖像與所述第三模態圖像的模態相同。

3.根據權利要求2所述的方法，其特征在于，在將第一模態圖像通過第一生成器轉換為第二模態圖像之后，所述方法還包括：

將所述第二模態圖像和所述目標模態圖像通過編碼器，得到編碼后的結果；

將所述編碼后的結果輸入辨別器進行分類，得到分類結果；

基于所述分類結果，讓所述辨別器與所述第一生成器形成對抗。

4.根據權利要求3所述的方法，其特征在于，所述編碼后的結果中包括編碼后的目標模態圖像，在將所述編碼后的結果輸入辨別器進行分類，得到分類結果之后，所述方法還包括：

對所述第二模態圖像和編碼后的目標模態圖像的通道數進行堆疊操作。

5.根據權利要求4所述的方法，其特征在于，將所述第二模態圖像與目標模態圖像輸入配準網絡進行配準，得到形變場包括：

在對所述第二模態圖像和編碼后的目標模態圖像的通道數進行堆疊操作之后，將所述第二模態圖像和所述編碼后的目標模態圖像輸入所述配準網絡進行配準，得到所述形變場。

6.根據權利要求3所述的方法，其特征在于，所述編碼器更新的梯度來自于所述辨別器的損失函數。

7.根據權利要求2所述的方法，其特征在于，對所述第一生成器和所述第二生成器采用綜合配準一致性損失函數。

8.根據權利要求3所述的方法，其特征在于，所述第一生成器和所述第二生成器、所述辨別器和所述配準網絡復用相同的編碼器，以實現多模態圖像的配準。

9.一種多模態圖像的配準裝置，其特征在于，包括：

第一轉換單元，用于將第一模態圖像通過第一生成器轉換為第二模態圖像；

第一輸入單元，用于將所述第二模態圖像與目標模態圖像輸入配準網絡進行配準，得到形變場，其中，所述第二模態圖像與所述目標模態圖像的模態相同；

第一配準單元，用于基于所述形變場對所述第一模態圖像進行配準。

10.一種處理器，其特征在于，所述處理器用于運行程序，其中，所述程序運行時執行權利要求1至8中任意一項所述的方法。

11.一種存儲介質，其特征在于，所述存儲介質包括存儲的程序，其中，所述程序執行權利要求1至8中任意一項所述的方法。