[發(fā)明專利]纖維狀結構三維顯微圖像的智能插值方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210734637.8
• 申請日: 2022-06-27
• 公開（公告）號: CN115063377A
• 公開（公告）日: 2022-09-16
• 發(fā)明（設計）人: 李安安;陳吳;袁菁;龔輝
• 申請（專利權）人: 華中科技大學蘇州腦空間信息研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 南京艾普利德知識產(chǎn)權代理事務所(特殊普通合伙) 32297
• 代理人: 陸明耀

本發(fā)明提供一種纖維狀結構三維顯微圖像的智能插值方法及系統(tǒng)，首先構建類似于各向異性低分辨率的zy面圖像，作為訓練的數(shù)據(jù)集，其次用xy面構建的訓練數(shù)據(jù)集進行訓練全卷積神經(jīng)網(wǎng)絡模型，然后將訓練后的模型應用于zy面低分辨率數(shù)據(jù)上，經(jīng)全卷積神經(jīng)網(wǎng)絡模型預測后實現(xiàn)z向分辨率的提升。本發(fā)明預測的圖像結果相比于原來的zy面低分辨圖像質量有顯著提升，很大程度上改善了原來低分辨率圖像上的鋸齒現(xiàn)象，預測的圖像神經(jīng)元纖維更清晰；同時對比zy面圖像繪制的灰度曲線圖，預測后圖像的曲線更連續(xù)平滑，消除了原來的z向低分辨圖像的鋸齒效應；對預測后的zy面圖像做數(shù)據(jù)重切片，實現(xiàn)三維數(shù)據(jù)集的高分辨率各向同性。

技術領域

本發(fā)明涉及圖像處理領域，尤其涉及單細胞分辨率水平的腦顯微圖像中，神經(jīng)元、血管等纖維狀三維結構信息的智能插值方法及系統(tǒng)。

背景技術

現(xiàn)代神經(jīng)科學的研究方向之一是對復雜腦結構的解析。近年來，伴隨著神經(jīng)元稀疏標記技術以及介觀尺度的全腦光學成像技術的飛速發(fā)展，為神經(jīng)學家能夠在介觀水平研究大腦的神經(jīng)環(huán)路提供了技術條件。研究神經(jīng)環(huán)路，需要對全腦進行成像，并且要求觀測精度達到微米量級。在宏觀尺度，MRI等成像技術能夠觀察腦區(qū)等明顯的空間特征，但觀測精度不夠，只能在毫米量級，其對厘米尺度的全腦成像空間分辨率最高只能達到10-50 μm；在微觀尺度，能通過電子顯微鏡觀測神經(jīng)元的精細形態(tài)，其分辨率甚至能達到1nm，受限于成像時間與成本的限制，電鏡只能掃描非常小體積的圖像，因此只能對神經(jīng)元局部分支進行成像；而在介觀尺度，介于兩者之間，有助于重建真實的大腦神經(jīng)網(wǎng)絡，是腦科學研究中具有重要意義的一環(huán)。特別是，光學顯微成像技術可以探測到生物組織在單細胞分辨率水平的精細結構，利用精密的顯微光學成像平臺，切削的組織薄片可以達到1 μm的厚度，具備獲取小鼠全腦單神經(jīng)元分辨水平的三維數(shù)據(jù)集的能力。但是，受限于光學成像系統(tǒng)存在的物理限制，顯微光學成像系統(tǒng)采集到的圖像呈各向異性，影響了后續(xù)三維圖像數(shù)據(jù)集可視化及基于圖像的數(shù)據(jù)分析，如高分辨率的圖像配準、神經(jīng)元半徑估算、神經(jīng)元重建等。

因此，亟需一個快速自動的高分辨率各向同性智能插值方法，用于提升海量圖像數(shù)據(jù)集的分辨率，如中國公開專利CN105590338A《一種掃描電子顯微圖像的三維重構方法》、CN104751425A《基于空間變化點擴散函數(shù)的熒光顯微圖像重建方法》所揭示。但是，受限于光學成像系統(tǒng)點擴散函數(shù)的影響，采集圖像的三維體素分辨率xyz中，存在z方向分辨率遠低于xy方向分辨率，而對于三維數(shù)據(jù)集各向異性這一問題很難在物理器件層面被克服。因此，通過圖像處理算法以提高光學系統(tǒng)采集圖像的z方向分辨率，實現(xiàn)三維數(shù)據(jù)集的各向同性成為解決該問題的一種新思路。

目前對于采集的常規(guī)三維數(shù)據(jù)集，存在某個方向的分辨率相對較低的問題，可以利用圖像插值技術，彌補該方向低分辨率問題。圖像插值就是一個圖像數(shù)據(jù)再生成的過程，它利用低分辨率的原始圖像數(shù)據(jù)再生出更高分辨率的圖像數(shù)據(jù)。序列圖像插值的目標是在相鄰兩幅圖像之間通過插值方法以生成新的插值圖像，這樣增加了該序列間圖像的數(shù)量，減少了圖像之間的間距，有助于后續(xù)的圖像三維重建。一般而言，圖像插值可以分為兩類：一類是基于重構的方法，另一類是基于學習的方法。基于重構的方法是使用先驗信息來制定插值函數(shù)，例如馬爾可夫模型，自回歸模型和非局部相似性。然而，這些基于重構的方法依賴于所觀察到的低分辨率圖像信息非常有限，常常導致圖像的邊緣模糊。基于學習的方法使用來自訓練樣本的大量信息，例如稀疏表示，隨機森林，深度神經(jīng)網(wǎng)絡等?；趯W習的方法的關鍵是從訓練樣本中提取相關信息以內插生成新像素。然而，如果直接將深度學習方法應用于恢復光學顯微鏡圖像的各向同性問題中，由于缺乏足夠的訓練數(shù)據(jù)，且不可能手動生成這些數(shù)據(jù)，使得問題復雜化，導致深度學習方法無法直接用于介觀尺度數(shù)據(jù)集的高分辨率各向同性的插值問題。

發(fā)明內容