[發明專利]一種基于深度神經網絡的眼底圖像拼接方法

有效

• 申請號: 202110682282.8
• 申請日: 2021-06-20
• 公開（公告）號: CN113436070B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 鄒耀徵;龔煒;文一帆;文懷敏;付源溟;王沐珊;王秋昊;李鑫宇
• 申請（專利權）人: 四川大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/00;G06V40/18;G06V10/50;G06V10/46;G06V10/82;G06N3/04
• 代理公司: 成都科奧專利事務所(普通合伙) 51101
• 代理人: 王蔚

1.一種基于深度神經網絡的眼底圖像拼接方法，其特征在于，包括如下步驟：

S1：讀取采集到的多張眼底圖像，將所有眼底圖像采用U-NET算法處理為眼底血管圖；

S2：對眼底圖像和眼底血管圖進行去黑框處理；

S3：通過預先訓練過的深度神經網絡確定基準圖及初步判斷眼病的類型，并賦予每張眼底圖像一個標簽，標簽上記載有該眼底圖像是否為基準圖、該眼底圖像相對于基準圖的位置、以及用int型數據表達的該眼底圖像是否帶有病灶及眼病類型；

S4：采用SURF(Speed-Up Robust Features)算法、HOG(Histogram of OrientedGradient)算法和LBP(Local Binary Pattern)算法提取所有眼底圖像和眼底血管圖的特征點，并對同時滿足上述三種算法、滿足上述三種算法中任意兩種算法或滿足上述三種算法中任意一種算法的特征點賦予不同的權重值，對帶病灶圖像上的特征點根據眼病的類型額外增加權重值；

S5：對上述所有特征點進行匹配，匹配完成后，將眼底血管圖匹配的特征點對轉換為相對應的眼底圖像的特征點對，并對重合的特征點對的權重值重新進行計算；

S6：按照優先保留權重值大的特征點對的原則，采用RANSAC(Random SampleConsensus隨機抽樣一致性)算法對所有特征點對進行篩選；

S7：將圖像切割成無數小方塊，采用DLT(Direct Linear Transformation-DLT)算法，對每個小方塊的特征點對進行透視變換矩陣計算，然后將圖像按照標簽上相對于基準圖的位置關系進行局部精準拼接，拼接時如出現重疊區域則保留基準圖部分；

S8：將拼接好的圖像消除拼接縫隙，然后輸入到深度神經網絡對眼部疾病類型的int數據進行檢測，如果檢測到的int數據的數值與S2步驟中帶有病灶的那張圖像的int數據的數值相同，則完成拼接；如果檢測到的int數據的數值與S2步驟中帶有病灶的那張圖像的int數據的數值不相同，則選擇帶病灶的那張眼底圖像作為基準圖按上述步驟重新進行圖像拼接，直至拼接好的圖像的int數據的數值與S2步驟中帶有病灶的那張圖像的int數據的數值相同，則完成圖像拼接。

2.根據權利要求1所述的基于深度神經網絡的眼底圖像拼接方法，其特征在于：步驟S2中去黑框處理采用的方法是對圖像矩陣的每一行進行檢測，去掉所有值為零的像素點。

3.根據權利要求1所述的基于深度神經網絡的眼底圖像拼接方法，其特征在于：步驟S6中所述RANSAC算法在統計和輸入特征點時按權重值取值。

4.根據權利要求1所述的基于深度神經網絡的眼底圖像拼接方法，其特征在于：步驟8中采用加權平均消除拼接縫隙。