[發明專利]一種電子顯微鏡圖像重建系統及其方法

有效

• 申請號: 201911058798.4
• 申請日: 2019-11-22
• 公開（公告）號: CN110826467B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 康健;王弘熠;王少華;盧鑫;黃柔婕;李伊寧;陳澤暢;郭克華;唐禎;周大維;郭文惠
• 申請（專利權）人: 中南大學湘雅三醫院;黃柔婕
• 主分類號: G06V20/69
• 分類號: G06V20/69;G06V10/82;G06T3/40;G06T17/00;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 長沙正奇專利事務所有限責任公司 43113
• 代理人: 魏國先

本發明公開了一種電子顯微鏡圖像重建系統及其方法，所述一種電子顯微鏡圖像重建系統及其方法，該系統主要包括圖像識別分類系統和卷積重建系統。本發明基于卷積神經網絡，將掃描電子顯微鏡圖像經過預處理后輸入神經網絡進行重建，達到提高圖像分辨率的目的。所述方法為圖像重建步驟中圖片數據的處理方法。本發明基于人工智能算法將掃描電子顯微鏡圖像進行重建，不依賴于昂貴的的精密儀器提供高分辨率圖像，降低了高分辨率圖像獲得途徑的成本，提升了醫用電子顯微鏡應用于輔助疾病臨床診斷的成像分辨率，間接提升了在診斷準確率。

技術領域

本發明涉及醫學圖像處理技術領域，具體為一種電子顯微鏡圖像重建系統及其方法。

背景技術

當前相當部分的疾病診療依賴病理切片等組織學手段，需應用普通醫用電子顯微鏡對人體內部病理變化的呈現，而早期的病理特征往往細小而不易把握，借助常規的電子顯微鏡漏檢的風險較大，因此盡可能清晰地顯示圖像細節一直以來都是醫學影像處理的熱點問題。但是傳統超分辨的顯微鏡成像系統離昂貴的精密儀器，具體醫療經濟水平很大程度限制了病患得到早期治療的可能。

而目前涉及智能算法在醫用超分辨率圖像重建的應用大多立足于通過物理手段、經驗規則改善電子顯微鏡成像環節的分辨率或增強對不同樣品介質的適用性，少有關注針對成像后的電鏡圖像本身的超分辨處理，如申請號為CN201610485953.0的發明公開了高分辨X射線、γ射線、電子射線顯微鏡技術。但因射線獲取的危險性、裝置設計的精密性造成設備成本高昂等問題，從經濟性角度限制了電子顯微鏡以較高精度水平應用于輔助疾病的臨床診斷。

本發明利用人工智能卷積神經網絡技術，通過智能算法建立從低分辨電子顯微圖片到超分辨電子顯微圖片的映射，重建電子顯微成像圖片并輸出超分辨的電子顯微成像圖片，提出一種人工智能輔助電子顯微鏡圖像超分辨轉化的圖像重建方法。

發明內容

本發明通過智能算法建立從低分辨電子顯微圖片到超分辨電子顯微圖片的映射，重建電子顯微成像圖片并輸出超分辨的電子顯微成像圖片，提供一種電子顯微鏡圖像重建的方法，以期通過較低成本的硬件設備得到高分辨率的電子顯微鏡圖像。

為解決上述技術問題，本發明所采用的技術方案是：一種電子顯微鏡圖像重建系統及其方法，所述電子顯微鏡圖像重建系統主要包括圖像識別分類系統和卷積重建系統，所述電子顯微鏡圖像重建方法主要包括識別分類和卷積重建兩個步驟。

一種電子顯微鏡圖像重建系統，其特征在于，包括以下部分：

圖像識別分類系統：用于識別待重建圖像種類；

圖像卷積重建系統：用于重建識別后的圖像數據，輸出超分辨率圖像。

所述識別分類系統以經典LeNET為網絡架構藍圖，并包括以下網絡層：

1)參訓數據集層：經人工標記的訓練圖像打包成特定的LMDB數據庫格式作為網絡的數據輸入，以減少數據讀取時間，加速模型優化；

2)卷積層：本發明識別分類部分采用的卷積運算同常用的卷積運算相同，本質上與線性變換一致但具體方法有所不同：以9個像素點的灰度值為單位，按照每個相對位置的固定權重計算該9個像素點灰度值的均值；

3)下采樣層：本發明采用的是最大池化法進行下采樣：以四個像素灰度值的最大值代替這四個像素值參與下一步運算；

4)激活層：本發明選用ReLU函數作為激活函數；

5)反饋層：本發明選用分類領域常用的損失函數softmax-loss。

所述卷積重建系統包括以下網絡層：