[發(fā)明專利]基于圖像配準(zhǔn)的多模態(tài)視網(wǎng)膜圖像融合方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110554406.4
• 申請日: 2021-05-20
• 公開（公告）號: CN113298742A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計）人: 余洪華;蔡宏民;但婷婷;劉寶怡;肖宇;方瑩
• 申請（專利權(quán)）人: 廣東省人民醫(yī)院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/00;G06T7/33;G06K9/46
• 代理公司: 深圳智趣知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44486
• 代理人: 崔艷崢

1.一種基于圖像配準(zhǔn)的多模態(tài)視網(wǎng)膜圖像融合方法，其特征在于，包括：

圖像輸入：獲取包括源圖像和目標(biāo)圖像的視網(wǎng)膜圖像對；

圖像預(yù)處理：對所述視網(wǎng)膜圖像對進(jìn)行預(yù)處理，獲取視網(wǎng)膜邊緣圖像對，從每對所述視網(wǎng)膜邊緣圖像對中提取特征點(diǎn)集，所述特征點(diǎn)集包括從預(yù)處理后的源圖像中提取的源特征點(diǎn)集和從預(yù)處理后的目標(biāo)圖像中提取的目標(biāo)特征點(diǎn)集；

特征組合和提取：組合多個特征描述符構(gòu)建多特征差異描述子，引導(dǎo)對所述特征點(diǎn)集的特征提取；

特征點(diǎn)集配準(zhǔn)：通過所述多特征差異描述子評估所述源特征點(diǎn)集與所述目標(biāo)特征點(diǎn)集之間的對應(yīng)關(guān)系，獲取對應(yīng)關(guān)系矩陣，根據(jù)所述對應(yīng)關(guān)系矩陣更新所述源特征點(diǎn)集的空間變換；

圖像配準(zhǔn)：根據(jù)空間變換前后的源特征點(diǎn)集實(shí)現(xiàn)圖像配準(zhǔn)，結(jié)合所述目標(biāo)圖像獲取空間變換后的圖像；

圖像融合：將空間變換后的圖像和預(yù)設(shè)參考圖像進(jìn)行像素級的融合得到融合圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，多個所述特征描述符包括基于類SIFT尺度空間的邊緣定向直方圖描述符、局部幾何結(jié)構(gòu)特征描述符、全局幾何結(jié)構(gòu)特征描述符；

所述特征組合和提取具體包括：

通過所述基于類SIFT尺度空間的邊緣定向直方圖，匹配位于相同場景、不同光譜條件下的所述視網(wǎng)膜邊緣圖像對上的特征點(diǎn)集，獲取所述源特征點(diǎn)集和所述目標(biāo)特征點(diǎn)集的尺度差異；

通過所述局部幾何結(jié)構(gòu)特征描述符，獲取所述源特征點(diǎn)集和所述目標(biāo)特征點(diǎn)集的局部特征差異矩陣；

通過所述全局幾何結(jié)構(gòu)特征描述符，獲取所述源特征點(diǎn)集和所述目標(biāo)特征點(diǎn)集的全局特征差異矩陣；

根據(jù)所述尺度差異、所述局部特征差異矩陣和所述全局特征差異矩陣構(gòu)建所述多特征差異描述子。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，“通過所述基于類SIFT尺度空間的邊緣定向直方圖，匹配位于相同場景、不同光譜條件下的所述視網(wǎng)膜邊緣圖像對上的特征點(diǎn)集，獲取所述源特征點(diǎn)集和所述目標(biāo)特征點(diǎn)集的尺度差異”具體包括：

通過基于類SIFT尺度空間表示來檢測所述特征點(diǎn)集；

通過邊緣定向直方圖描述符描述所述特征點(diǎn)集，獲取所述特征點(diǎn)集的特征描述，所述邊緣定向直方圖包含來自每個特征點(diǎn)附近的輪廓的空間信息，以每個特征點(diǎn)為中心設(shè)置預(yù)設(shè)尺寸的窗口描述所述視網(wǎng)膜邊緣圖像對的形狀和輪廓，并維護(hù)尺度空間的不變性；

根據(jù)所述特征描述，匹配所述目標(biāo)特征點(diǎn)集中的特征點(diǎn)與所述源特征點(diǎn)集中的特征點(diǎn)，通過使用歐幾里得距離來評判特征點(diǎn)之間的差異程度，獲取所述尺度差異。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于類SIFT尺度空間的邊緣定向直方圖描述符通過尺度差異來提高特征描述的魯棒性；

所述尺度差異的定義為：

SD(X，Y)＝scl_x-scl_y,(x＜SD＜y)

其中，SD表示所述尺度差異，scl是特征點(diǎn)所處于的尺度空間，X表示源特征點(diǎn)集，Y表示目標(biāo)特征點(diǎn)集，x和y的定義如下：

其中，表示SD直方圖中的峰值。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，假設(shè)特征點(diǎn)集T包含J個特征點(diǎn)，則定義t_ik是特征點(diǎn)t_i的第k個最近相鄰特征點(diǎn)，則點(diǎn)集T的第i個點(diǎn)t_i的局部幾何特征描述符定義如下：

其中，K表示相鄰點(diǎn)的數(shù)量，v_ik表示從t_i到t_ik的向量，μ_ik是一個權(quán)重參數(shù)，用于控制相鄰點(diǎn)矢量對局部特征的描述力度；

μ_ik的定義如下：

所述局部特征差異矩陣中的每個元素定義為：

其中，Ψ_Lmn表示所述局部特征差異矩陣中某一元素，m表示目標(biāo)特征點(diǎn)集中的特征點(diǎn)，n表示源目標(biāo)點(diǎn)集中的特征點(diǎn)，表示高斯徑向基函數(shù)，Y表示目標(biāo)特征點(diǎn)集。