[發(fā)明專(zhuān)利]生物多光譜圖像的深度學(xué)習(xí)分類(lèi)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710547113.7
• 申請(qǐng)日: 2017-07-06
• 公開(kāi)（公告）號(hào): CN107169535A
• 公開(kāi)（公告）日: 2017-09-15
• 發(fā)明（設(shè)計(jì)）人: 談宜勇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 談宜勇;李紀(jì)華
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06N3/08
• 代理公司: 北京悅成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11527
• 代理人: 樊耀峰

技術(shù)領(lǐng)域

本發(fā)明涉及一種生物多光譜圖像的深度學(xué)習(xí)分類(lèi)方法及裝置。

背景技術(shù)

在科研實(shí)踐中，組織切片的正確分類(lèi)是非常重要的。傳統(tǒng)組織切片為灰度或單色熒光，主要通過(guò)物理層面的細(xì)胞形態(tài)學(xué)進(jìn)行分類(lèi)，分類(lèi)方法不準(zhǔn)確，在病程早期正常和病變細(xì)胞形態(tài)區(qū)分度不大，缺乏組織多生物現(xiàn)象關(guān)聯(lián)因素信息，無(wú)法為后處理和分類(lèi)提供高特異性。彩色組織切片圖像是指具有多種光譜信息(如激發(fā)熒光)或色譜信息(如染色劑)的組織切片圖像，是組織切片領(lǐng)域的新一代精準(zhǔn)醫(yī)學(xué)技術(shù)，多光譜(包括高光譜和超光譜)技術(shù)是圖像的每一個(gè)像素都提供兩種以上光譜波長(zhǎng)的光強(qiáng)度值的新技術(shù)。激發(fā)熒光(Fluorescence)的多光譜生物標(biāo)記或染料染色的病理組織切片方法是最新發(fā)展的一種可以同時(shí)測(cè)量同一像素區(qū)域多個(gè)生物標(biāo)記物的關(guān)聯(lián)性和生物現(xiàn)象強(qiáng)度的方法。多光譜圖像是有自身生物復(fù)雜性的一組表征不同光譜波長(zhǎng)強(qiáng)度的圖像，揭示的信息是多個(gè)生物事件在不同光譜上表征的深度相互關(guān)系。在科研實(shí)踐中需要對(duì)一組多光譜圖像進(jìn)行分類(lèi)。

對(duì)于單一圖像，可采用圖像深度學(xué)習(xí)的方法實(shí)現(xiàn)分類(lèi)。對(duì)于多光譜圖像的智能分類(lèi)處理尚處于起步階段，多光譜圖像所需要的深度學(xué)習(xí)時(shí)間長(zhǎng)，存儲(chǔ)空間大，并且深度學(xué)習(xí)框架需要大量的訓(xùn)練圖輸入才能較好的收斂，目前多光譜組織切片圖像的數(shù)量遠(yuǎn)達(dá)不到大數(shù)據(jù)的規(guī)模，仍然按照常規(guī)的深度學(xué)習(xí)方案顯然無(wú)法得到滿意的結(jié)果。例如中國(guó)發(fā)明專(zhuān)利申請(qǐng)201511022779.8公開(kāi)了一種基于多層卷積網(wǎng)絡(luò)與數(shù)據(jù)重組折疊的高光譜數(shù)據(jù)分類(lèi)方法，其首先對(duì)三維高光譜數(shù)據(jù)進(jìn)行預(yù)處理，獲得包含有效光譜信息的數(shù)據(jù)矩陣和標(biāo)簽向量；對(duì)數(shù)據(jù)矩陣進(jìn)行特征擴(kuò)維，并對(duì)特征維按列折疊重組，獲得重組的三維高光譜數(shù)據(jù)輸入矩陣；設(shè)定多層卷積網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)和初始值；利用前向傳播與BP算法逐層計(jì)算特征和誤差，并對(duì)網(wǎng)絡(luò)權(quán)值和偏置進(jìn)行更新，不斷迭代獲得網(wǎng)絡(luò)穩(wěn)定參數(shù)，最終獲得能夠用于分類(lèi)的網(wǎng)絡(luò)模型和參數(shù)。又如，中國(guó)發(fā)明專(zhuān)利申請(qǐng)201610427555.3公開(kāi)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的胃腸道腫瘤顯微高光譜圖像處理方法，其對(duì)胃腸道組織高光譜訓(xùn)練圖像的光譜維進(jìn)行降維去噪，僅保留高光譜數(shù)據(jù)的主成分；構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；采用分批處理方法，將每個(gè)批次內(nèi)的訓(xùn)練樣本輸入構(gòu)造好的卷積神經(jīng)網(wǎng)絡(luò)，每個(gè)訓(xùn)練樣本數(shù)據(jù)為高光譜數(shù)據(jù)主成分即若干個(gè)二維灰度圖像，若干個(gè)二維灰度圖像相當(dāng)于若干張輸入層的特征圖，采用交叉熵函數(shù)作為損失函數(shù)，利用誤差反向傳播算法，根據(jù)該訓(xùn)練批次內(nèi)的平均損失函數(shù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)以及邏輯回歸層參數(shù)直至網(wǎng)絡(luò)收斂。這些方案雖然能夠?qū)Ω吖庾V圖像展開(kāi)深度學(xué)習(xí)，但沒(méi)有有效利用光譜之間的相關(guān)性(揭示生物現(xiàn)象的相互聯(lián)系)來(lái)提高深度學(xué)習(xí)特異性和魯棒性，并且沒(méi)有熒光光譜信息和對(duì)自發(fā)熒光的降噪處理，在訓(xùn)練圖數(shù)量有限的情況下，即使得到一個(gè)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，其魯棒性和準(zhǔn)確性也難以令人滿意。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提出一種生物多光譜圖像的深度學(xué)習(xí)分類(lèi)方法及裝置，利用某一特定病理狀態(tài)通常會(huì)伴隨多個(gè)復(fù)雜的生物現(xiàn)象同時(shí)發(fā)生，且多個(gè)生物現(xiàn)象之間相互關(guān)聯(lián)，以及這種關(guān)聯(lián)具有區(qū)域性的特點(diǎn)，結(jié)合病理學(xué)的先驗(yàn)知識(shí)實(shí)現(xiàn)對(duì)生物多光譜圖像的深度學(xué)習(xí)和分類(lèi)。

本發(fā)明提供一種生物多光譜圖像的深度學(xué)習(xí)分類(lèi)方法，所述方法包括如下過(guò)程：對(duì)生物多光譜圖像進(jìn)行數(shù)據(jù)預(yù)處理得到預(yù)處理結(jié)果；根據(jù)感興趣的生物現(xiàn)象關(guān)系確定至少一個(gè)相關(guān)特征濾波器模板；將預(yù)處理結(jié)果作為深度學(xué)習(xí)框架的輸入，對(duì)所述生物多光譜圖像進(jìn)行深度學(xué)習(xí)，并以所述至少一個(gè)相關(guān)特征濾波器模板調(diào)整深度學(xué)習(xí)框架，從而得到訓(xùn)練好的深度學(xué)習(xí)框架；將待分類(lèi)的多光譜圖像輸入到所述訓(xùn)練好的深度學(xué)習(xí)框架中，得到所述待分類(lèi)的多光譜圖像對(duì)應(yīng)的分類(lèi)。

根據(jù)本發(fā)明的深度學(xué)習(xí)分類(lèi)方法，優(yōu)選地，所述數(shù)據(jù)預(yù)處理包括如下步驟：

①將每一個(gè)多光譜圖像均轉(zhuǎn)換為一個(gè)M×N矩陣，其中，M為所述多光譜圖像像素的個(gè)數(shù)，N為多光譜圖像中波長(zhǎng)值的個(gè)數(shù)；

②利用主成分分析PCA計(jì)算出對(duì)所述矩陣貢獻(xiàn)較大的前m個(gè)波長(zhǎng)；

③在個(gè)波長(zhǎng)組合中選出最相關(guān)的波長(zhǎng)組合A，A是包含n個(gè)不同波長(zhǎng)值的波長(zhǎng)組合；

④對(duì)所述多光譜圖像進(jìn)行分區(qū)，針對(duì)每個(gè)區(qū)域的圖像，計(jì)算波長(zhǎng)組合A中各波長(zhǎng)的相關(guān)系數(shù)，選出最大相關(guān)系數(shù)對(duì)應(yīng)的區(qū)域W；

⑤對(duì)區(qū)域W中波長(zhǎng)組合A中不同波長(zhǎng)的強(qiáng)度進(jìn)行像素分布直方圖歸一化，以歸一化得到的結(jié)果作為所述預(yù)處理結(jié)果。