[發明專利]一種多模態融合輔助干眼診斷和分型的方法、裝置及系統

在審

• 申請號: 202111677475.0
• 申請日: 2021-12-31
• 公開（公告）號: CN114343563A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 戴琦;張文杰;傅亞娜;張祖輝;于新新
• 申請（專利權）人: 溫州醫科大學附屬眼視光醫院
• 主分類號: A61B3/10
• 分類號: A61B3/10;A61B3/00
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 劉美蓮

1.一種多模態融合輔助干眼診斷和分型的方法，其特征在于，包括以下步驟：

獲取視頻和受檢者的干眼癥狀相關指標，其中，所述視頻包括所述受檢的圖像；

將所述視頻內的至少一幀圖像輸入到預設的第一檢測模型，獲取受檢者的瞼板腺特征；

將所述視頻內的至少一幀圖像輸入到預設的第二檢測模型，獲取圖像信息中的淚河特征及瞼緣形態特征；

根據所述淚河特征計算獲得淚河高度，根據瞼緣形態特征進行瞼緣異常的分類；

將所述視頻輸入到預設的第三檢測模型，獲取所述受檢者的淚膜形態特征及淚膜破裂時間；

將所述瞼板腺特征、淚河高度、瞼緣形態特征、淚膜形態特征、淚膜破裂時間以及干眼癥狀相關指標輸入到多模態融合干眼診斷模型中，得到對所述受檢者的干眼診斷及干眼分型結果。

2.根據權利要求1所述的一種多模態融合輔助干眼診斷和分型的方法，其特征在于，在獲取視頻和受檢者的干眼癥狀相關指標中，還包括以下步驟：

通過5G網絡獲取視頻和受檢者的干眼癥狀相關指標。

3.根據權利要求1所述的一種多模態融合輔助干眼診斷和分型的方法，其特征在于：其中干眼分型結果包括水液缺乏型、脂質異常型、黏蛋白異常型、淚液動力學異常型、混合型。

4.根據權利要求1所述的一種多模態融合輔助干眼診斷和分型的方法，其特征在于，在將圖像信息輸入到預設的第二檢測模型，獲取圖像信息中的淚河特征以及瞼緣形態特征，包括以下步驟：

通過第二檢測模型對圖像信息進行分割處理，分割出瞼緣圖像區域和淚河圖像區域；

選擇瞼緣圖像區域和淚河圖像區域；

獲取淚河圖像區域中的淚河特征，其中，淚河特征包括淚河上下緣、淚河長軸；

獲取瞼緣圖像區域中的瞼緣形態特征，其中，瞼緣形態特征包括瞼緣充血或新生血管、瞼緣形態不規則、瞼板腺開口堵塞、黏膜交界處前后移位。

5.根據權利要求4所述的一種多模態融合輔助干眼診斷和分型的方法，其特征在于，在選擇瞼緣圖像區域和淚河圖像區域中，包括以下步驟：

對瞼緣圖像區域和淚河圖像區域進行二值化處理，根據二值圖像的最大連通區域選擇瞼緣圖像區域和淚河圖像區域。

6.根據權利要求1所述的一種多模態融合輔助干眼診斷和分型的方法，其特征在于，訓練所述多模態融合干眼診斷模型的方法包括以下步驟：

獲取訓練數據，訓練數據包括第一特征數據、第二特征數據以及干眼分類結果、干眼特征影像數據，其中第一特征數據包括淚膜形態特征、瞼板腺特征，第二特征數據包括淚膜破裂時間、淚河高度、瞼緣形態特征以及上傳的干眼癥狀相關指標；

對第一特征數據、第二特征數據進行編碼，并將第二特征數據的特征編碼變換為與第一特征數據的特征編碼相同的維度；

特征融合，將升維后的特征數據與干眼特征影像數據融合，獲得融合特征；

使用融合特征作為深度學習模型的輸入數據，并使用與融合特征對應的干眼分類結果作為金標準訓練深度學習模型，直至收斂，得到多模態融合干眼診斷模型。

7.根據權利要求6所述的一種多模態融合輔助干眼診斷和分型的方法，其特征在于，在特征融合，將升維后的特征數據與干眼特征影像數據融合，獲得融合特征中，包括以下步驟：

采用EarlyFusion的結構，直接將升維后的特征數據與干眼特征影像數據融合以學習兩者之間的非線性相關性。

8.根據權利要求1所述的一種多模態融合輔助干眼診斷和分型的方法，其特征在于：在將上傳的視頻輸入到預設的第三檢測模型，獲取淚膜形態特征中，還包括以下步驟：

引入視覺注意力機制基于時空特征以識別視頻中每幀存在淚膜相關信息的圖像區域排除其他不相關的圖像區域。