[發明專利]一種基于PET-CT的跨模態注意力腫瘤分割方法、系統

在審

• 申請號: 202210807701.0
• 申請日: 2022-07-11
• 公開（公告）號: CN114862881A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 章毅;李林;胡俊杰;蔡華偉;皮勇;趙禎
• 申請（專利權）人: 四川大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06V10/80
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 謝建

1.一種基于PET-CT的跨模態注意力腫瘤分割方法，其特征在于，包括：

步驟S1、獲取PET圖像、CT圖像；

步驟S2、使用自注意力機制分別提取PET圖像、CT圖像中的特征；

步驟S3、使用自注意力機制跨模態融合PET圖像、CT圖像中的單模態特征，得到跨模態融合影像特征；

步驟S4、基于跨模態融合影像特征分割腫瘤區域。

2.如權利要求1所述的一種基于PET-CT的跨模態注意力腫瘤分割方法，其特征在于：步驟S1中，使用PET/CT掃描儀獲取配準好的PET圖像、CT圖像。

3.如權利要求1所述的一種基于PET-CT的跨模態注意力腫瘤分割方法，其特征在于：步驟S2中，分別將步驟S1獲取的PET圖像、CT圖像進行分塊，并將分塊后的圖像由矩陣變換至向量形式，得到向量；再對向量進行非線性變換，得到PET圖像、CT圖像的單模態圖像特征。

4.如權利要求1所述的一種基于PET-CT的跨模態注意力腫瘤分割方法，其特征在于：步驟S3中，對步驟S2得到的PET圖像的單模態圖像特征進行線性變換、和，得到不同向量表達、和，將向量表達、和改寫為矩陣形式Q₁、K₁和V₁，再進行自注意力計算得到矩陣形式：

對步驟S2得到的CT圖像的單模態圖像特征進行線性變換、和，得到不同向量表達、和，將向量表達、和改寫為矩陣形式Q₂、K₂和V₂，再進行自注意力計算得到矩陣形式：

再對矩陣形式、矩陣形式進行疊加、融合，得到矩陣形式C，即，再對矩陣形式C進行線性變換、和，得到不同向量表達、和，將向量表達、和改寫為矩陣形式Q₃、K₃和V₃，再進行自注意力計算得到矩陣形式，即為跨模態融合影像特征：

其中，是融合影像特征的矩陣形式，T是矩陣的轉置，、和為可學習的參數矩陣。

5.一種基于PET-CT的跨模態注意力腫瘤分割系統，其特征在于，包括：

圖像獲取模塊，用于獲取PET圖像、CT圖像；

特征提取模塊，用于使用自注意力機制分別提取圖像獲取模塊獲取的PET圖像、CT圖像中的特征；

特征融合模塊，用于使用自注意力機制跨模態融合特征提取模塊提取并得到的PET圖像、CT圖像中的單模態特征，得到跨模態融合影像特征；

腫瘤分割模塊，用于基于特征融合模塊得到的跨模態融合影像特征分割腫瘤區域。

6.如權利要求5所述的一種基于PET-CT的跨模態注意力腫瘤分割系統，其特征在于，圖像獲取模塊是使用PET/CT掃描儀獲取配準好的PET圖像、CT圖像。

7.如權利要求5所述的一種基于PET-CT的跨模態注意力腫瘤分割系統，其特征在于，特征提取模塊是分別將圖像獲取模塊獲取的PET圖像、CT圖像進行分塊，并將分塊后的圖像由矩陣變換至向量形式，得到向量；再對向量進行非線性變換，得到PET圖像、CT圖像的單模態圖像特征。

8.如權利要求5所述的一種基于PET-CT的跨模態注意力腫瘤分割系統，其特征在于，特征融合模塊對特征提取模塊得到的PET圖像的單模態圖像特征進行線性變換、和，得到不同向量表達、和，將向量表達、和改寫為矩陣形式Q₁、K₁和V₁，再進行自注意力計算得到矩陣形式：

特征融合模塊對特征提取模塊得到的CT圖像的單模態圖像特征進行線性變換、和，得到不同向量表達、和，將向量表達、和改寫為矩陣形式Q₂、K₂和V₂，再進行自注意力計算得到矩陣形式：

特征融合模塊再對矩陣形式、矩陣形式進行疊加、融合，得到矩陣形式C，即，再對矩陣形式C進行線性變換、和，得到不同向量表達、和，將向量表達、和改寫為矩陣形式Q₃、K₃和V₃，再進行自注意力計算得到矩陣形式，即為跨模態融合影像特征：

其中，是融合影像特征的矩陣形式，T是矩陣的轉置，、和為可學習的參數矩陣。