[發明專利]一種基于遷移學習的全切片數字成像自適應自動聚焦方法

有效

• 申請號: 202010935487.8
• 申請日: 2020-09-08
• 公開（公告）號: CN112070660B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 劉賢明;李強
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06F30/27
• 代理公司: 哈爾濱市偉晨專利代理事務所(普通合伙) 23209
• 代理人: 桑林艷

本發明屬于生物醫療儀器領域，具體涉及一種基于遷移學習的全切片數字成像自適應自動聚焦方法：本方法提出了一種基于神經網絡遷移學習方法，主要包含自動聚焦網絡；設計的自動聚焦網絡可根據離焦圖像解算出準焦距離；采用迭代方式，逐次添加新數據集下的數據進行遷移學習的訓練；通過采用遷移學習訓練的方式，可以讓自動聚焦網絡具有可滿足需求的泛化性和自適應性，能夠實現對不同生物細胞樣品的數據采集，對傳統的全切片數字病理成像硬件進行了軟件虛擬化。

技術領域

本發明基于生物醫療儀器領域，以深度學習技術為核心，具體涉及一種基于遷移學習的全切片數字成像自適應自動聚焦方法，可廣泛適用于儀器科學、人工智能、醫療影像和自動化等領域的研究。

背景技術

近年來，先進的數字病理學成像技術得到了廣泛的研究與應用。全切片數字成像技術(WSI，Whole Slide Images)，即虛擬顯微術，可以將傳統的顯微切片以數字化圖像形式采集，能夠實現任意電腦訪問，容易存儲，以及科研工作者和醫生之間的異地傳輸等。全切片數字成像技術在生物成像研究中至關重要，如在癌癥分析和疾病預測等領域中。目前美國食品藥品管理局已經采用飛利浦公司的全切片數字成像系統作為主要的病理分析手段。

全切片數字成像通常需要兩步實現：(1)按子區域順序掃描病理圖像，然后再將其拼接一起產生完整的全視場的病理切片圖像；(2)采用特制的軟件來識別分析這些數字圖像。其中，第一步對于獲取的圖像質量至關重要。目前，全切片數字成像技術中存在的挑戰主要為如何快速產生高質量的準焦圖像。通常來說，全切片掃描需要一個高分辨率和毫米級長度景深的物鏡，其因系統掃描過程中獲得了分布不均的子圖像，從而導致了離焦現象。這種離焦現象是導致全切片數字成像效果退化的主要原因。

目前，一種廣泛應用的方法是采用準焦圖匹配的方法來獲得高質量的全切片數字圖像。準焦圖匹配方法提供一個準焦先驗，對于每個位置的離焦圖像，可以通過沿光軸移動病理樣品獲得不同準焦距離下的系列離焦圖像(z-stack)，最后通過每張離焦圖像的圖像對比度最大化或者其他的圖像質量評價方法來確定對應的準焦圖像。這種方法需要對每個順序掃描的子區域逐個使用。然而，這種方法因為重復的軸向測量導致成像速度大大減慢。對于其他方法，如采用雙相機裝置可以實現自準焦功能，避免了病理圖像的軸向逐層掃描。但是，這種方法在傳統的顯微儀器中因硬件不兼容和成本高昂等問題，所以并不適用添加新的成像模塊。

發明內容

考慮到傳統方法的局限性，本發明利用先進的機器學習算法來解決全切片數字成像的自動聚焦問題。本方法提出了一種基于神經網絡遷移學習方法，主要包含自動聚焦網絡；設計的自動聚焦網絡可根據離焦圖像解算出準焦距離；采用迭代方式，逐次添加新數據集下的數據進行遷移學習的小批量數據訓練；通過采用遷移學習訓練的方式，可以讓自動聚焦網絡具有可滿足需求的泛化性和自適應性，能夠實現對不同生物細胞樣品的數據采集，對傳統的全切片數字病理成像硬件進行了軟件虛擬化。

本發明的目的是這樣實現的：

一種基于遷移學習的全切片數字成像自適應自動聚焦方法，包括以下步驟：

步驟a、輸入離焦圖像；

步驟b、自動聚焦網絡；

步驟c、預測準焦距離；

步驟d、新數據訓練，

采用遷移學習的方法，實現不同數據下自適應自動聚焦方法。

進一步地，所述輸入離焦圖像來自于不同子圖像橫向位置下的軸向掃描移動獲得的z-stack圖像堆棧，每個子圖像位置獲得正、負各20張離焦圖像和一張準焦圖像，共計41張。

進一步地，所述自動聚焦網絡根據訓練圖像先預訓練，在測試過程中判斷測試圖像是否和訓練圖像相同類別，若不同則利用新數據輸入進行小數據訓練。