[發(fā)明專(zhuān)利]一種電子顯微鏡圖像重建系統(tǒng)及其方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911058798.4
• 申請(qǐng)日: 2019-11-22
• 公開(kāi)（公告）號(hào): CN110826467B
• 公開(kāi)（公告）日: 2023-09-29
• 發(fā)明（設(shè)計(jì)）人: 康健;王弘熠;王少華;盧鑫;黃柔婕;李伊寧;陳澤暢;郭克華;唐禎;周大維;郭文惠
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中南大學(xué)湘雅三醫(yī)院;黃柔婕
• 主分類(lèi)號(hào): G06V20/69
• 分類(lèi)號(hào): G06V20/69;G06V10/82;G06T3/40;G06T17/00;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 長(zhǎng)沙正奇專(zhuān)利事務(wù)所有限責(zé)任公司 43113
• 代理人: 魏國(guó)先

1.一種電子顯微鏡圖像重建系統(tǒng)，其特征在于，包括以下部分：

圖像識(shí)別分類(lèi)系統(tǒng)：用于識(shí)別待重建圖像種類(lèi)；其中，所述識(shí)別分類(lèi)系統(tǒng)以經(jīng)典LeNET為網(wǎng)絡(luò)架構(gòu)藍(lán)圖，并包括以下網(wǎng)絡(luò)層：

參訓(xùn)數(shù)據(jù)集層：經(jīng)人工標(biāo)記的訓(xùn)練圖像打包成特定的LMDB數(shù)據(jù)庫(kù)格式作為網(wǎng)絡(luò)的數(shù)據(jù)輸入；

卷積層：卷積運(yùn)算是以9個(gè)像素點(diǎn)的灰度值為單位，按照每個(gè)相對(duì)位置的固定權(quán)重計(jì)算該9個(gè)像素點(diǎn)灰度值的均值；

下采樣層：采用最大池化法進(jìn)行下采樣；

激活層：選用ReLU函數(shù)作為激活函數(shù)；

反饋層：選用損失函數(shù)softmax-loss；

圖像卷積重建系統(tǒng)：用于重建識(shí)別后的圖像數(shù)據(jù)，輸出超分辨率圖像；

每次重建目標(biāo)圖片時(shí)，先需要根據(jù)目標(biāo)圖片細(xì)胞器選擇同類(lèi)型圖片訓(xùn)練集；所述訓(xùn)練集圖片只包含一種細(xì)胞器的信息，訓(xùn)練集依照模糊原因分類(lèi)，每套訓(xùn)練集是由兩個(gè)部分組成：反映線(xiàn)粒體但不限于線(xiàn)粒體或反映基底膜但不限于基底膜的模糊電子顯微鏡成像、反映相同結(jié)構(gòu)的高分辨率電子顯微鏡成像；

待重建目標(biāo)圖片在進(jìn)入識(shí)別層之前需要進(jìn)行預(yù)處理：只保留人工標(biāo)記好的待識(shí)別細(xì)胞器區(qū)域，其他的區(qū)域按高斯分布填充灰度值。

2.根據(jù)權(quán)利要求1所述的一種電子顯微鏡圖像重建系統(tǒng)，其特征在于，所述卷積重建系統(tǒng)包括以下網(wǎng)絡(luò)層：

二次預(yù)處理層：二次預(yù)處理步驟是用戶(hù)框選區(qū)域以外的圖片按高斯分布填充灰度值，其后進(jìn)行7次旋轉(zhuǎn)、一次對(duì)稱(chēng)共形成15張圖像；7次旋轉(zhuǎn)每次旋轉(zhuǎn)度數(shù)為45°，一次對(duì)稱(chēng)形成14張圖，導(dǎo)入原始圖共15張；

底層特征提取層：用于對(duì)低分辨率的目標(biāo)圖像完成下采樣操作，并初步提取目標(biāo)圖像的特征信息，具體操作公式為：

F₁(Y)＝max(0，W₁*Y+B1)

式中，Y表示目標(biāo)圖像，*表示卷積操作，W₁表示卷積核，共有32維，其大小為5×5，B₁是偏置項(xiàng)，這一層使用的激活函數(shù)是經(jīng)典的ReLU函數(shù)，max表示取兩者較大值；

非線(xiàn)性映射層A：用于提取目標(biāo)圖片淺層特征信息，操作可表達(dá)為公式：

F₄(Y)＝max(0，W₄*(F₁(Y)+F₃(Y))+B₄)

式中，Y表示待處理圖像，*表示卷積操作，W₅表示卷積核，共有32維，其大小為5×5，B₄是偏置項(xiàng)，這一層使用的激活函數(shù)是經(jīng)典的ReLU函數(shù)，max表示取較大值；F₄(Y)是本層輸出的結(jié)果，F(xiàn)₁(Y)是第一層輸出結(jié)果，F(xiàn)₃(Y)是第三層輸出結(jié)果；

二次監(jiān)督層：即conv7，作用在于訓(xùn)練時(shí)針對(duì)非線(xiàn)性映射層A的第二次反向傳播，在每一次的訓(xùn)練中負(fù)責(zé)記錄當(dāng)前的特征信息，該層在每次所有訓(xùn)練集訓(xùn)練完成后進(jìn)行上述計(jì)算；定義為：

式中，N是訓(xùn)練樣本的數(shù)量，F(xiàn)₁是指前層網(wǎng)絡(luò)綜合學(xué)習(xí)得到的映射關(guān)系；θ₁＝{W₁，W₂，…，W₇，b₁，b₂，…，b₇}，Xⁱ是第i幅標(biāo)準(zhǔn)高分辨率圖像，Yⁱ是輸入的第i幅低分辨率圖像；通過(guò)E₁(θ₁)反向傳播的梯度值與圖像二次監(jiān)督部分構(gòu)造的反向傳播的梯度值共同迭代更新各層的卷積權(quán)重，使前幾層的網(wǎng)絡(luò)層也能夠充分完成權(quán)重更新；

非線(xiàn)性映射層B：用于提取目標(biāo)圖片深層特征信息，非線(xiàn)性映射層和二次監(jiān)督層的卷積處理過(guò)程中運(yùn)用殘差網(wǎng)絡(luò)；

重建層：作用在于結(jié)合提取到的特征進(jìn)行圖像超分辨率重建，具體操作公式表達(dá)為：

F₁₆(Y)＝PS(max(0，W₁₆*F₁₅(Y)+B₁₆))

式中F₁₆(Y)指的是最終重建的結(jié)果，PS是亞像素卷積操作，W₁₆是指第16層的卷積核，它本質(zhì)上是一種反卷積操作；F₁₅(Y)是指輸入第16層前的第15層輸出的特征向量，B₁₆表示第16層的偏置項(xiàng)。