[發(fā)明專利]眼科影像的實(shí)例檢索方法、裝置、服務(wù)器及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010249627.6
• 申請日: 2020-04-01
• 公開（公告）號: CN111428737A
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 方建生;劉江
• 申請（專利權(quán)）人: 南方科技大學(xué)
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/08;G06K9/34;G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆;潘登

本發(fā)明實(shí)施例公開了一種眼科影像的實(shí)例檢索方法、裝置、服務(wù)器及存儲(chǔ)介質(zhì)，該方法包括：獲取當(dāng)前用戶的眼部影像；根據(jù)用戶需求使用第一深度學(xué)習(xí)模型獲取所述眼部影像中的預(yù)設(shè)特征影像，所述預(yù)設(shè)特征影像為眼部影像中優(yōu)先突出所述預(yù)設(shè)影像特征中多個(gè)局部特征中的一種；將所述預(yù)設(shè)特征影像輸入到預(yù)先訓(xùn)練好的第二深度學(xué)習(xí)模型中以獲得匹配的樣本圖像以及案例描述。本發(fā)明實(shí)施例提供的一種眼科影像的實(shí)例檢索方法，通過提取眼科影像的局部特征，系統(tǒng)在深度學(xué)習(xí)模型中進(jìn)行識別，輸出局部特征的識別結(jié)果，解決了現(xiàn)有技術(shù)中無法利用眼科影像的局部特征進(jìn)行定向檢索的問題，提高了眼科影像檢索的精度和準(zhǔn)確度，提升了用戶的體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及檢索技術(shù)，尤其涉及一種眼科影像的實(shí)例檢索方法、裝置、服務(wù)器及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著成像技術(shù)的發(fā)展，眼科數(shù)字影像已成為眼科學(xué)的主要數(shù)據(jù)，這一趨勢驅(qū)動(dòng)著眼科影像檢索功能的建設(shè)，以輔助醫(yī)生臨床決策。傳統(tǒng)上，眼科影像檢索功能采用基于文本的檢索方法，先對影像進(jìn)行文本描述(建立文本和影像的對應(yīng)關(guān)系)，檢索時(shí)輸入關(guān)鍵詞查詢并返回排序結(jié)果。這種“以字找圖”的方法，存在文本描述和影像內(nèi)容本身不一致的語義差異，影響檢索效果。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，基于內(nèi)容的影像檢索(Content-BasedImage Retrieval,CBIR)方法開始應(yīng)用于眼科。這種“以圖找圖”的方法依據(jù)圖像本身的顏色、形狀、紋理等特征進(jìn)行檢索，避免文本描述和影像內(nèi)容的語義差異。基于內(nèi)容的圖像檢索(Content-based Image Retrieval，簡稱CBIR)技術(shù)是根據(jù)圖像的內(nèi)容檢索最相似的圖像，融合了信息檢索、計(jì)算機(jī)視覺等技術(shù)。近年來，在醫(yī)學(xué)影像領(lǐng)域，以深度卷積網(wǎng)絡(luò)(CNN)為代表的深度學(xué)習(xí)算法在眼科影像的疾病分類和病灶分割上獲得了優(yōu)異性能，在提取紋理、顏色、形態(tài)等特征上超過傳統(tǒng)分類器(如支持向量機(jī)(SVM)、隨機(jī)森林(RF)等)，這為影像檢索功能的建設(shè)提供了技術(shù)基礎(chǔ)。

人體的各部位疾病可通過眼部的病變來呈現(xiàn)，因此學(xué)術(shù)界和工業(yè)界廣泛致力于通過人工智能算法分析眼科數(shù)字影像來自動(dòng)篩查疾病，并已有相關(guān)成果問世。如美國德克薩斯州貝勒大學(xué)開發(fā)出通過照片可確定眼癌的免費(fèi)軟件White Eye Detector，華盛頓大學(xué)開發(fā)了一款能根據(jù)眼睛顏色診斷肝癌的軟件BiliScreen，國內(nèi)至真健康公司推出智能篩查眼底相機(jī)。然而，依托眼科醫(yī)療影像技術(shù)和圖像處理技術(shù)的疾病自動(dòng)篩查，其算法面臨可解釋性、準(zhǔn)確性的挑戰(zhàn)，且訓(xùn)練模型所用的樣本也面臨采集困難、標(biāo)注主觀多義等問題，臨床應(yīng)用仍有相當(dāng)長的路要走。更重要的，盡管計(jì)算機(jī)篩查結(jié)果只是作為醫(yī)生的輔助參考，但計(jì)算機(jī)結(jié)果或多或少會(huì)影響到醫(yī)生的再次判斷，從而有可能影響到最終診斷結(jié)果。在計(jì)算機(jī)視覺技術(shù)廣泛應(yīng)用于自然圖像的場景下，如人臉識別、自動(dòng)駕駛等，且眼科數(shù)字影像對疾病早期發(fā)現(xiàn)具有如此重要的意義，可以考慮基于計(jì)算機(jī)視覺技術(shù)的檢索引擎建設(shè)，旨在提高決策效率而不直接給出決策結(jié)果。

基于眼科影像檢索的應(yīng)用價(jià)值，目前眼科影像檢索已有相關(guān)研究開展，但基于病變區(qū)域的實(shí)例級檢索方法研究還相對不足。病變位置的檢索對病例檢索來說是非常重要的。一般來說，一張影像的判別主要取決于關(guān)鍵區(qū)域(即病變區(qū)域)的識別和比較。假設(shè)兩張影像，病變區(qū)域占比小，如果做整張影像的比較，病變區(qū)域的特征表示就會(huì)被忽略，這就會(huì)導(dǎo)致相似度的誤差。

發(fā)明內(nèi)容

本發(fā)明提供一種眼科影像的實(shí)例檢索方法，以實(shí)現(xiàn)提高眼科影像檢索的精度和準(zhǔn)確度，提升了用戶的體驗(yàn)。

第一方面，本發(fā)明實(shí)施例提供了一種眼科影像的實(shí)例檢索方法，該方法包括：

獲取當(dāng)前用戶的眼部影像；

根據(jù)用戶需求使用第一深度學(xué)習(xí)模型獲取所述眼部影像中的預(yù)設(shè)特征影像，所述預(yù)設(shè)特征影像為眼部影像中優(yōu)先突出所述預(yù)設(shè)影像特征中多個(gè)局部特征中的一種；

將所述預(yù)設(shè)特征影像輸入到預(yù)先訓(xùn)練好的第二深度學(xué)習(xí)模型中以獲得匹配的樣本圖像以及案例描述。

可選的，所述獲取當(dāng)前用戶的眼部影像之前還包括：