[發(fā)明專利]一種基于深度神經(jīng)網(wǎng)絡(luò)的眼底圖像拼接方法

有效

• 申請?zhí)枺?/td>: 202110682282.8
• 申請日: 2021-06-20
• 公開（公告）號: CN113436070B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計）人: 鄒耀徵;龔煒;文一帆;文懷敏;付源溟;王沐珊;王秋昊;李鑫宇
• 申請（專利權(quán)）人: 四川大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/00;G06V40/18;G06V10/50;G06V10/46;G06V10/82;G06N3/04
• 代理公司: 成都科奧專利事務(wù)所(普通合伙) 51101
• 代理人: 王蔚

本發(fā)明公開了一種基于深度神經(jīng)網(wǎng)絡(luò)的眼底圖像拼接方法，包括以下步驟：S1讀取采集到的多張眼底圖像，將眼底圖像處理為眼底血管圖；S2對眼底圖像和眼底血管圖進行去黑框處理；S3通過預(yù)先訓(xùn)練過的深度神經(jīng)網(wǎng)絡(luò)確定基準圖及初步判斷眼病的類型，并賦予每張眼底圖像一個標簽；S4采用SURF算法、HOG算法和LBP算法提取眼底圖像和眼底血管圖的特征點，并對所有特征點賦予不同的權(quán)重值；S5對所有特征點進行匹配；S6按照優(yōu)先保留權(quán)重值大的特征點對的原則，采用RANSAC算法對所有特征點對進行篩選；S7計算特征點對的透視變換矩陣，對圖像進行拼接；S8將拼接好的圖像輸入到深度神經(jīng)網(wǎng)絡(luò)進行檢測。本發(fā)明能提高拼接圖像的準確性和拼接效率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度神經(jīng)網(wǎng)絡(luò)的眼底圖像拼接方法，屬于醫(yī)學(xué)圖像處理技術(shù)領(lǐng)域。

背景技術(shù)

目前，眼底圖像一般通過眼底照相機獲得，由于眼底照相機的局限，所獲得的圖像只能是眼底的局部圖像，這就使得眼科醫(yī)生在臨床的診斷和治療中只能靠肉眼進行觀察和手工進行對齊，不僅效率低，而且準確率不能得到保證。解決這個問題有兩個途徑，一個是增大設(shè)備成像的視野范圍，但這通常需要較昂貴的費用，對大部分醫(yī)院來說不現(xiàn)實。另一個途徑是對多幅眼底圖像進行拼接，使其在一張圖上呈現(xiàn)出患者整個眼底的圖像，從而滿足臨床診斷和治療的需要。

現(xiàn)有的眼底圖像拼接技術(shù)主要存在如下缺點：一是特征點過少導(dǎo)致無法配準，或誤匹配點太多導(dǎo)致匹配參數(shù)求解有誤；二是不能根據(jù)眼病的類型對拼接方案進行調(diào)整，影響拼接效果；三是拼接速度慢，且不能對拼接結(jié)果進行驗證。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足而提供一種基于深度神經(jīng)網(wǎng)絡(luò)的眼底圖像拼接方法，該方法通過三種算法對眼底圖像和眼底血管圖提取特征點，能獲取更多的特征點，并通過賦予特征點不同的權(quán)重值能有效篩選特征點對，從而使拼接圖像更精確，拼接效率更高。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：

一種基于深度神經(jīng)網(wǎng)絡(luò)的眼底圖像拼接方法，包括如下步驟：

S1：讀取采集到的多張眼底圖像，將所有眼底圖像采用U-NET算法處理為眼底血管圖；

S2：對眼底圖像和眼底血管圖進行去黑框處理；

S3：通過預(yù)先訓(xùn)練過的深度神經(jīng)網(wǎng)絡(luò)確定基準圖及初步判斷眼病的類型，并賦予每張眼底圖像一個標簽，標簽上記載有該眼底圖像是否為基準圖、該眼底圖像相對于基準圖的位置、以及用int型數(shù)據(jù)表達的該眼底圖像是否帶有病灶及病灶類型；

S4：采用SURF(Speed-Up Robust Features)算法、HOG(Histogram of OrientedGradient)算法和LBP(Local Binary Pattern)算法提取所有眼底圖像和眼底血管圖的特征點，并對同時滿足上述三種算法、滿足上述三種算法中任意兩種算法或滿足上述三種算法中任意一種算法的特征點賦予不同的權(quán)重值，對帶病灶圖像上的特征點根據(jù)不同的眼病額外增加權(quán)重值；

S5：對上述所有特征點進行匹配，匹配完成后，將眼底血管圖匹配的特征點對轉(zhuǎn)換為相對應(yīng)的眼底圖像的特征點對，并對重合的特征點對的權(quán)重值重新進行計算；

S6：按照優(yōu)先保留權(quán)重值大的特征點對的原則，采用RANSAC(Random SampleConsensus隨機抽樣一致性)算法對所有特征點對進行篩選，剔除誤匹配點；

S7：將圖像切割成無數(shù)小方塊，采用DLT(Direct Linear Transformation-DLT)算法，對每個小方塊的特征點對進行透視變換矩陣計算，然后將圖像按照標簽上相對于基準圖的位置關(guān)系進行局部精準拼接，拼接時如出現(xiàn)重疊區(qū)域則保留基準圖部分；