[發(fā)明專利]細(xì)胞視野圖的檢測(cè)方法及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010075316.2
• 申請(qǐng)日: 2020-01-22
• 公開（公告）號(hào): CN111310611B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 張立箎;王乾;周明
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06V20/69
• 分類號(hào): G06V20/69;G06V10/774;G06V10/764;G06N3/084;G06N3/0464;G06N3/048
• 代理公司: 上海世圓知識(shí)產(chǎn)權(quán)代理有限公司 31320
• 代理人: 陳穎潔;王佳妮

本發(fā)明提供細(xì)胞視野圖的檢測(cè)方法及存儲(chǔ)介質(zhì)，所述細(xì)胞視野圖的檢測(cè)方法包括獲取步驟、訓(xùn)練步驟以及分類步驟。將使用了端到端的檢測(cè)網(wǎng)絡(luò)和分類網(wǎng)絡(luò)組合的級(jí)聯(lián)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將檢測(cè)網(wǎng)絡(luò)的反映的視野圖級(jí)別的異常的特征信息整合到分類網(wǎng)絡(luò)當(dāng)中，避免該信息的流失。兩個(gè)網(wǎng)絡(luò)同時(shí)訓(xùn)練，使得檢測(cè)網(wǎng)絡(luò)和分類網(wǎng)絡(luò)相互監(jiān)督，互相促進(jìn)，保證分類精度的同時(shí)降低了異常區(qū)域的檢出假陽(yáng)性。

技術(shù)領(lǐng)域

本發(fā)明涉及細(xì)胞圖像檢測(cè)領(lǐng)域，尤其涉及細(xì)胞視野圖的檢測(cè)方法及存儲(chǔ)介質(zhì)。

背景技術(shù)

在檢測(cè)異常視野圖中異常細(xì)胞區(qū)域的現(xiàn)有技術(shù)中，并沒(méi)有對(duì)視野圖進(jìn)行進(jìn)一步的分類，只是完成異常細(xì)胞的位置和分類信息的獲取。一般使用基于Faster-RCNN的檢測(cè)方法和R-FCN的檢測(cè)方法的結(jié)合，將兩個(gè)網(wǎng)絡(luò)的區(qū)域回歸和標(biāo)記框分類結(jié)合到一起。其具體過(guò)程為，對(duì)于一張視野圖，先經(jīng)過(guò)特征提取器，再經(jīng)過(guò)RPN（候選區(qū)域生成網(wǎng)絡(luò)）生成一定數(shù)量的候選框，大概2000個(gè)標(biāo)記框，再利用R-FCN的區(qū)域性質(zhì)，分別進(jìn)行標(biāo)記框的回歸和分類，得出最終的檢測(cè)結(jié)果。然而得出的檢測(cè)結(jié)果，并沒(méi)有將檢測(cè)結(jié)果運(yùn)用到最終的分類或者診斷的任務(wù)上。而且檢測(cè)出來(lái)的結(jié)果不準(zhǔn)確，會(huì)存在假陽(yáng)性的結(jié)果。

另外，目前的異常細(xì)胞視野圖分類主要依賴于細(xì)胞的分類，細(xì)胞分類上，目前最先進(jìn)的方法使用了基于圖卷積的分類模型，首先用Densenet對(duì)細(xì)胞進(jìn)行特征的提取，再使用K-Means方法將細(xì)胞進(jìn)行聚類，最后使用了圖卷積的方法對(duì)特征進(jìn)行迭代更新，得出最終的特征，進(jìn)行最后的細(xì)胞分類。

本發(fā)明的主要目的就為了解決上述的三個(gè)問(wèn)題1、沒(méi)有在線將檢測(cè)的結(jié)果融合進(jìn)判讀視野圖分類的模型中，我們得出了視野圖的異常檢測(cè)信息，包含了一部分可以用作視野圖判斷的先驗(yàn)信息，但是這部分信息并沒(méi)有被納入到視野圖分類判斷的數(shù)據(jù)流當(dāng)中，造成了先驗(yàn)信息的浪費(fèi)和損失。2、視野圖在經(jīng)過(guò)檢測(cè)模塊之后，會(huì)標(biāo)出一部分網(wǎng)絡(luò)認(rèn)為的存在異常的區(qū)域，但是這個(gè)區(qū)域可能是存在爭(zhēng)議性的假陽(yáng)性區(qū)域，即為正常區(qū)域被檢測(cè)網(wǎng)絡(luò)誤標(biāo)區(qū)域，顯然這些區(qū)域是不應(yīng)該出現(xiàn)的。但是在一張本身就是異常視野圖的輸入數(shù)據(jù)來(lái)說(shuō)，在檢測(cè)出某些異常區(qū)域的同時(shí)檢測(cè)出假陽(yáng)的正常區(qū)域，我們可以認(rèn)為這個(gè)對(duì)于異常視野圖的判斷是影響較大的，但是一張正常的視野圖若是出現(xiàn)了若干甚至僅僅只有一塊異常區(qū)域，都是不合理的，對(duì)于視野圖的判斷是極為不友好的，最不應(yīng)該出現(xiàn)異常的正常視野圖當(dāng)中檢測(cè)出現(xiàn)了異常的區(qū)域，會(huì)降低我們判讀視野圖是否異常的標(biāo)準(zhǔn)和方法的魯棒性，極大程度的降低了分類網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)的準(zhǔn)確性。3、目前已有的模型都沒(méi)有采用端到端的訓(xùn)練方法，沒(méi)有讓網(wǎng)絡(luò)同時(shí)兼顧兩個(gè)任務(wù)的信息，都是先訓(xùn)練一個(gè)檢測(cè)網(wǎng)絡(luò)再訓(xùn)練一個(gè)分類網(wǎng)絡(luò)，不能再生成候選框的同時(shí)降低異常的假陽(yáng)性，我們想同時(shí)訓(xùn)練這兩個(gè)任務(wù)，達(dá)到讓分類網(wǎng)絡(luò)也對(duì)檢測(cè)網(wǎng)絡(luò)有所約束，同時(shí)檢測(cè)網(wǎng)絡(luò)對(duì)分類網(wǎng)絡(luò)有所幫助的目的。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本發(fā)明提供一種細(xì)胞視野圖的檢測(cè)方法，包括：獲取步驟，獲取細(xì)胞視野圖，并制作樣本集；

訓(xùn)練步驟，輸入所述樣本集以及分類標(biāo)簽，訓(xùn)練一級(jí)聯(lián)網(wǎng)絡(luò)得到級(jí)聯(lián)模型，所述級(jí)聯(lián)網(wǎng)絡(luò)由Retinanet網(wǎng)絡(luò)以及CNN網(wǎng)絡(luò)組成，所述Retinanet網(wǎng)絡(luò)用以通過(guò)訓(xùn)練得到檢測(cè)模型，并輸出視野圖的區(qū)域判定結(jié)果；所述CNN網(wǎng)絡(luò)用以通過(guò)訓(xùn)練得到分類模型，并輸出視野圖的分類結(jié)果；分類步驟，將待識(shí)別視野圖輸入至訓(xùn)練好的級(jí)聯(lián)網(wǎng)絡(luò)中得到整張視野圖的分類結(jié)果以及該視野圖的區(qū)域判定結(jié)果。

進(jìn)一步地，所述訓(xùn)練步驟包括Retinanet網(wǎng)絡(luò)訓(xùn)練步驟，具體包括：劃分步驟，將所述樣本集分為訓(xùn)練集與測(cè)試集；第一訓(xùn)練步驟，輸入所述訓(xùn)練集，訓(xùn)練Retinanet網(wǎng)絡(luò)得到一第一網(wǎng)絡(luò)模型以及多個(gè)特征圖；第一輸出步驟，將所述測(cè)試集輸入至所述第一網(wǎng)絡(luò)模型得到第一判定結(jié)果；第一優(yōu)化步驟，比對(duì)所述第一判定結(jié)果與正確結(jié)果，計(jì)算二者的差異值并反向傳遞，優(yōu)化第一網(wǎng)絡(luò)模型得到檢測(cè)模型。