[發明專利]生成融合特征集合的方法及裝置

有效

• 申請號: 202011126125.0
• 申請日: 2020-10-20
• 公開（公告）號: CN112258564B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 唐雯;張榮國;李新陽;陳寬;王少康
• 申請（專利權）人: 推想醫療科技股份有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T5/50;G06N3/08;G06N3/04;G06K9/62;G06V10/80
• 代理公司: 北京布瑞知識產權代理有限公司 11505
• 代理人: 孟潭

1.一種生成融合特征集合的方法，其特征在于，包括：

確定第一模態圖像對應的第一尺度的第一特征集合和第二模態圖像對應的第一尺度的第二特征集合；

將所述第一特征集合和所述第二特征集合輸入特征處理模型，以得到第一尺度的第一融合特征集合，其中所述特征處理模型包括特征變換模塊和特征融合模塊，

其中，所述第一特征集合包括多個不同維度的第一特征，所述第二特征集合包括多個不同維度的第二特征，并且，所述多個不同維度的第一特征和所述多個不同維度的第二特征呈一一維度對應關系，

所述將所述第一特征集合和所述第二特征集合輸入特征處理模型，以得到第一尺度的第一融合特征集合，包括：

將所述第一特征集合和所述第二特征集合輸入特征處理模型，利用所述特征變換模塊，分別確定所述多個不同維度的第二特征與各自對應的第一特征之間的偏移量，以生成所述第二特征集合對應的偏移量集合；利用所述特征變換模塊，基于所述偏移量集合，對所述第二特征集合中包括的所述多個不同維度的第二特征分別進行特征維度的重采樣操作，以確定第三特征集合，其中，所述第三特征集合與所述第一特征集合之間存在空間匹配關系；利用所述特征融合模塊，基于所述第一特征集合和所述第三特征集合融合生成第一尺度的第一融合特征集合。

2.根據權利要求1所述的生成融合特征集合的方法，其特征在于，所述利用所述特征變換模塊，分別確定所述多個不同維度的第二特征與各自對應的第一特征之間的偏移量，以生成所述第二特征集合對應的偏移量集合，包括：

針對所述多個不同維度的第二特征中的每個第二特征，將所述第二特征與所述第二特征對應的第一特征進行特征拼接操作，以生成第一拼接特征；

對所述第一拼接特征進行卷積操作，以確定所述第二特征對應的第一方向偏移量和第二方向偏移量；

基于所述多個不同維度的第二特征各自對應的第一方向偏移量和第二方向偏移量，生成所述偏移量集合。

3.根據權利要求1或2所述的生成融合特征集合的方法，其特征在于，所述第三特征集合包括多個不同維度的第三特征，并且，所述多個不同維度的第三特征和所述多個不同維度的第一特征呈一一維度對應關系，所述基于所述第一特征集合和所述第三特征集合融合生成第一尺度的第一融合特征集合，包括：

針對所述多個不同維度的第三特征中的每個第三特征，將所述第三特征與所述第三特征對應的第一特征進行特征拼接操作，以生成第二拼接特征；

對所述第二拼接特征進行卷積操作，以確定所述第三特征對應的第一尺度的第一融合特征；

基于所述多個不同維度的第三特征各自對應的第一尺度的第一融合特征，生成所述第一融合特征集合。

4.根據權利要求1或2所述的生成融合特征集合的方法，其特征在于，還包括：

確定所述第一模態圖像對應的第二尺度的第四特征集合和所述第二模態圖像對應的第二尺度的第五特征集合；

將所述第四特征集合和所述第五特征集合輸入所述特征處理模型，以得到第二尺度的第二融合特征集合；

并且，利用所述特征處理模型，得到所述第一融合特征集合和所述第二融合特征集合對應的第三融合特征集合。

5.根據權利要求4所述的生成融合特征集合的方法，其特征在于，所述利用所述特征處理模型，得到所述第一融合特征集合和所述第二融合特征集合對應的第三融合特征集合，包括：

利用所述特征處理模型，確定所述第一融合特征集合對應的第二尺度的第七特征集合；

利用所述特征處理模型，將所述第七特征集合和所述第二融合特征集合進行融合操作，以得到所述第三融合特征集合。