[發(fā)明專利]一種用于顯微圖像實時拼接的方法、系統(tǒng)和計算機設備

有效

• 申請?zhí)枺?/td>: 202010950938.5
• 申請日: 2020-09-11
• 公開（公告）號: CN111815690B
• 公開（公告）日: 2020-12-08
• 發(fā)明（設計）人: 向北海;張建南;許會
• 申請（專利權）人: 湖南國科智瞳科技有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T5/50;G06T3/40;G06T3/00;G06N3/04;G06K9/62
• 代理公司: 長沙國科天河知識產(chǎn)權代理有限公司 43225
• 代理人: 邱軼

本發(fā)明公開一種用于顯微圖像實時拼接的方法、系統(tǒng)和計算機設備，該方法采用了兩階段雙網(wǎng)絡級聯(lián)的顯微圖像拼接模型，利用像素級的圖像配準網(wǎng)絡直接從輸入的圖像對中輸出像素級的映射表，實現(xiàn)了逐像素的映射，可將每個像素對齊至理想的對齊位置，與常用的計算一個單應矩陣或計算若干網(wǎng)格對應的單應矩陣相比，基于像素級的映射表的精度高，速度快，可實時處理；再利用多聚焦的圖像融合網(wǎng)絡直接從輸入的對齊圖像中輸出融合后的圖像，實現(xiàn)了多焦點圖像融合，使獲得的拼接圖像各部分完全清晰，在圖像對重疊區(qū)域存在弱紋理區(qū)域的情況下也能實現(xiàn)精確拼接。

技術領域

本發(fā)明涉及顯微圖像處理技術領域，尤其是一種用于顯微圖像實時拼接的方法、系統(tǒng)和計算機設備。

背景技術

隨著數(shù)字顯微鏡技術的發(fā)展，現(xiàn)有技術可以使用樣本玻片掃描的方式對樣本玻片進行全面掃描以獲得全切片數(shù)字顯微圖像，即在數(shù)字顯微鏡的放大下依次拍攝樣本玻片各個局部視野的顯微圖像，并利用圖像拼接技術獲得完整的全切片數(shù)字顯微圖像。

一般來說，顯微圖像的拼接技術包括兩個關鍵步驟，分別是圖像配準和圖像融合，目前廣泛使用的圖像拼接技術是基于特征點匹配的圖像拼接技術，該方法首先對相鄰圖像的重疊區(qū)域進行特征提取，然后執(zhí)行特征匹配進行圖像配準以使相互重疊的圖像區(qū)域對齊，最后進行圖像的融合得到大尺寸顯微圖像。基于特征點匹配的圖像拼接技術可以獲得較好的拼接效果，但是不滿足實時性，尤其是當重疊區(qū)域存在弱紋理區(qū)域時，該方法無法檢測到有效的特征點進行特征匹配，進而會導致圖像拼接失敗。

發(fā)明內容

本發(fā)明提供一種用于顯微圖像實時拼接的方法、系統(tǒng)和計算機設備，用于克服現(xiàn)有技術中不滿足實時性，甚至對于重疊區(qū)域存在弱紋理區(qū)域時可能導致圖像拼接失敗等缺陷。

為實現(xiàn)上述目的，本發(fā)明提出一種用于顯微圖像實時拼接的方法，包括：

獲取局部顯微圖像；

將局部顯微圖像中的相鄰局部顯微圖像組成圖像對，利用圖像配準算法得到每組圖像對對應的理想標簽，所有的圖像對和理想標簽共同構成訓練集；

將所述訓練集輸入到預先構建的顯微圖像拼接模型中，所述顯微圖像拼接模型包括圖像配準網(wǎng)絡和圖像融合網(wǎng)絡；

利用圖像配準網(wǎng)絡對輸入的圖像對進行配準，并根據(jù)圖像對對應的理想標簽，獲得映射表，根據(jù)所述映射表對圖像對進行對齊，獲得對齊圖像；

提取所述對齊圖像中相互重疊的部分，利用圖像融合網(wǎng)絡對對齊圖像中相互重疊的部分進行融合，獲得局部融合圖像，將所述局部融合圖像與對齊圖像中不重疊的部分進行級聯(lián)，獲得拼接圖像，并得到訓練好的顯微圖像拼接模型；

利用訓練好的顯微圖像拼接模型對待拼接局部顯微圖像進行拼接，獲得拼接圖像。

為實現(xiàn)上述目的，本發(fā)明還提出一種用于顯微圖像實時拼接的系統(tǒng)，包括：

圖像獲取模塊，用于獲取局部顯微圖像；

訓練集生成模塊，用于將局部顯微圖像中的相鄰局部顯微圖像組成圖像對，利用圖像配準模型得到每組圖像對對應的理想標簽，所有的圖像對和理想標簽共同構成訓練集；

模型訓練模塊，用于將所述訓練集輸入到預先構建的顯微圖像拼接模型中，所述顯微圖像拼接模型包括圖像配準網(wǎng)絡和圖像融合網(wǎng)絡；利用圖像配準網(wǎng)絡對輸入的圖像對進行配準，并根據(jù)圖像對對應的理想標簽，獲得映射表，根據(jù)所述映射表對圖像對進行對齊，獲得對齊圖像；提取所述對齊圖像中相互重疊的部分，利用圖像融合網(wǎng)絡對對齊圖像中相互重疊的部分進行融合，獲得局部融合圖像，將所述局部融合圖像與對齊圖像中不重疊的部分進行級聯(lián)，獲得拼接圖像，并得到訓練好的顯微圖像拼接模型；

圖像拼接模塊，用于利用訓練好的顯微圖像拼接模型對待拼接局部顯微圖像進行拼接，獲得拼接圖像。