[發明專利]一種用于顯微圖像實時拼接的方法、系統和計算機設備

有效

• 申請號: 202010950938.5
• 申請日: 2020-09-11
• 公開（公告）號: CN111815690B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 向北海;張建南;許會
• 申請（專利權）人: 湖南國科智瞳科技有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T5/50;G06T3/40;G06T3/00;G06N3/04;G06K9/62
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 邱軼

1.一種用于顯微圖像實時拼接的方法，其特征在于，包括：

獲取局部顯微圖像；

將局部顯微圖像中的相鄰局部顯微圖像組成圖像對，利用圖像配準算法得到每組圖像對對應的理想標簽，所有的圖像對和理想標簽共同構成訓練集；所述理想標簽為利用圖像配準模型配準、對齊后的對齊圖像；

將所述訓練集輸入到預先構建的顯微圖像拼接模型中，所述顯微圖像拼接模型包括圖像配準網絡和圖像融合網絡；

利用圖像配準網絡對輸入的圖像對進行配準，并根據圖像對對應的理想標簽，獲得映射表，根據所述映射表對圖像對進行對齊，獲得對齊圖像；所述映射表包括水平方向上的映射表和垂直方向上的映射表；對于每個像素，映射表中的對應值表示在對齊視圖下將該像素的原始位置變換到對齊位置的映射，即通過映射表可確定原始圖像中各個像素在對齊圖像中對應的位置；

提取所述對齊圖像中相互重疊的部分，利用圖像融合網絡對對齊圖像中相互重疊的部分進行融合，獲得局部融合圖像，將所述局部融合圖像與對齊圖像中不重疊的部分進行級聯，獲得拼接圖像，并得到訓練好的顯微圖像拼接模型；所述顯微圖像拼接模型的訓練分兩個階段，第一階段為利用訓練集訓練圖像配準網絡，獲得圖像配準網絡的參數；第二階段為根據第一階段獲得的參數固定圖像配準網絡，利用圖像配準網絡輸出的對齊圖像，采用無監督的方式訓練圖像融合網絡，獲得圖像融合網絡的參數；

利用訓練好的顯微圖像拼接模型對待拼接局部顯微圖像進行拼接，獲得拼接圖像。

2.如權利要求1所述的用于顯微圖像實時拼接的方法，其特征在于，利用圖像配準算法得到每組圖像對對應的理想標簽，包括：

利用圖像配準算法提取每組圖像對的SURF特征描述子，根據所述SURF特征描述子進行特征預匹配；

利用RANSAC算法剔除特征預匹配過程中的誤匹配特征點，獲得匹配結果，根據所述匹配結果計算單應矩陣；

利用所述單應矩陣對圖像對中的一張圖像進行變換，并將變換后的圖像與圖像對中的另一張圖像進行對齊，獲得對齊圖像，所述對齊圖像為圖像對對應的理想標簽。

3.如權利要求1所述的用于顯微圖像實時拼接的方法，其特征在于，所述圖像配準網絡為像素級網絡，包括編碼器模塊、解碼器模塊和空間變換模塊；

所述編碼器模塊用于從輸入的圖像對中提取高層特征，依次包括8個卷積層；

所述解碼器模塊用于對編碼器模塊提取的高層特征進行解碼獲得細映射表，依次包括7個反卷積層和1個卷積層，每個所述反卷積層對應一個所述編碼器模塊中的卷積層，每個所述反卷積層與對應的卷積層通過跳躍連接方式相連，每個所述反卷積層的特征圖數量與對應的卷積層中的特征圖數量相同；

所述空間變換模塊用于將仿射變換和恒定矩陣進行乘法操作，獲得粗映射表，將所述細映射表與所述粗映射表進行疊加獲得映射表，利用所述映射表對圖像對中的一張圖像進行變換，并將變換后的圖像與圖像對中的另一張圖像進行對齊，獲得對齊圖像。

4.如權利要求3所述的用于顯微圖像實時拼接的方法，其特征在于，所述仿射變換為將編碼器模塊中最后一個卷積層輸出的特征圖經過一個卷積層進行下采樣后再經過一個1×1的卷積層而獲得。

5.如權利要求1所述的用于顯微圖像實時拼接的方法，其特征在于，所述圖像融合網絡為多聚焦網絡，包括兩個并列的特征提取子網絡，融合模塊和特征重構模塊，所述特征提取子網絡包括2個卷積層和1個位于所述2個卷積層之間的特征提取模塊；

所述特征提取模塊用于對輸入的圖像進行特征提取，依次包括5個卷積層，每個所述卷積層后面連接一個ReLU非線性激活層；

所述融合模塊用于將兩個并列的特征提取子網絡輸出的特征圖進行融合，包括1個融合層；

所述特征重構模塊用于對融合模塊輸出的融合特征圖進行重構，獲得局部融合圖像，將所述局部融合圖像與對齊圖像中不重疊的部分進行級聯，獲得拼接圖像，依次包括7個卷積層，前6個卷積層后面均連接一個Leaky-ReLU非線性激活層，第7個卷積層后面連接1個Sigmoid層。