[發明專利]一種基于深度神經網絡的熔滴圖像輪廓提取方法及系統

在審

• 申請號: 202110583032.9
• 申請日: 2021-05-27
• 公開（公告）號: CN113284112A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 于強;劉曉珂;陸瀟曉
• 申請（專利權）人: 中國科學院國家空間科學中心
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13;G06K9/46;G06T3/40;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 李彪;徐淑東

1.一種基于深度神經網絡的熔滴圖像輪廓提取方法，所述方法包括：

將采集的低分辨率熔滴圖像輸入預先建立和訓練好的熔滴圖像輪廓提取模型，得到高分辨率的熔滴圖像和高分辨率的熔滴輪廓圖像；

所述熔滴圖像輪廓提取模型為并行連接的特征提取模塊和形狀監督模塊，再串行連接重建模塊；其中，

所述特征提取模塊，用于提取低分辨率熔滴圖像的特征信息；

所述形狀監督模塊，用于提取低分辨率熔滴圖像的形狀信息，并輸出熔滴輪廓圖像；

所述重建模塊，用于對低分辨率熔滴圖像的特征信息和熔滴輪廓圖像進行合并，輸出重建的高分辨率的熔滴圖像。

2.根據權利要求1所述的基于深度神經網絡的熔滴圖像輪廓提取方法，其特征在于，所述特征提取模塊F_feature的輸入為低分辨率熔滴圖像LR，輸出為特征信息Y_feature，滿足下式：

Y_feature＝F_feature(LR)

所述特征提取模塊包括依次連接的第一卷積層、第二卷積層、兩個結構相同的殘差塊和第三卷積層；其中，

所述第一卷積層和第二卷積層，用于提取低分辨率熔滴圖像淺層的特征信息，其中，第一卷積層卷積核尺寸大小為3*3，特征通道數量為3，步長為1；第二卷積層卷積核尺寸大小為5*5，特征通道數量為64，步長為2；

所述兩個結構相同的殘差塊，用于提取低分辨熔滴圖像深層的特征信息并避免發生梯度消失與梯度爆炸，每個殘差塊均包括兩個卷積層、兩個標準化層和兩個激活函數層；其中，卷積層的尺寸大小為3*3，特征通道數量64，步長為1，激活函數層的激活函數為PReLU；

所述第三卷積層，用于進一步提取細節特征信息，卷積核尺寸大小為5*5，特征通道數量為64，步長為1。

3.根據權利要求2所述的基于深度神經網絡的熔滴圖像輪廓提取方法，其特征在于，所述形狀監督模塊F_shpae的輸入為低分辨率熔滴圖像LR，輸出為熔滴圖像的輪廓Y_shape，滿足下式：

Y_shape＝F_shape(LR)

所述形狀監督模塊包括依次連接的第一卷積層、第二卷積層、兩個結構相同的殘差塊以及兩個結構相同的沙漏結構；其中，

所述第一卷積層和第二卷積層，用于提取低分辨率熔滴圖像淺層的特征信息；結構分別與特征提取模塊的第一卷積層和第二卷積層相同；

所述兩個結構相同的殘差塊，用于提取低分辨熔滴圖像深層的特征信息并避免發生梯度消失與梯度爆炸；殘差塊與特征提取模塊的殘差塊結構相同；

所述兩個結構相同的沙漏結構，用于提取低分辨率熔滴圖像輪廓關鍵點信息；每個沙漏結構包括殘差塊、最大池化層和上采樣層；殘差塊與特征提取模塊的殘差塊結構相同，最大池化層核尺寸大小為2*2，移動步長為1；上采樣層的上采樣尺寸因子為2。

4.根據權利要求3所述的基于深度神經網絡的熔滴圖像輪廓提取方法，其特征在于，所述重建模塊F_reconstruct的輸入為特征信息Y_feature和熔滴輪廓圖像Y_shape，輸出為重建的高分辨率的熔滴圖像Y_out，滿足下式：

其中，表示進行融合處理；

所述重建模塊包括依次連接的第一卷積層、反卷積層和第二卷積層；其中，

所述第一卷積層，卷積核尺寸大小為3*3，特征通道數量為3，步長為1；

所述反卷積層，卷積核尺寸大小為3*3，特征通道數量為64，步長為1；

所述第二卷積層，卷積核尺寸大小為3*3，特征通道數量為3，步長為1。