[發明專利]一種基于光學圖像的癌癥患者標本性質的辨別方法及應用

在審

• 申請號: 202310037801.4
• 申請日: 2023-01-10
• 公開（公告）號: CN115984231A
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張國君;楊晨暉;白靜雯;余世龍;范雪琪;黃文河;牛蕾;彭文鐸
• 申請（專利權）人: 廈門大學附屬翔安醫院;廈門術利康醫學科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/50;G06T3/40;G06T7/11;G06V10/774;G06V10/764;G06V10/44;G06V10/82;G06N3/048;G06N3/08;G06N3/0464
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 巫其榮

1.一種基于光學圖像的癌癥患者標本性質的辨別方法，其特征在于，包括以下步驟：

S1、獲取訓練組患者標本的光學圖像，并進行預處理，建立訓練組患者的淋巴結轉移狀態識別的正負樣本數據集；

S2、選擇基礎網絡架構，通過池化層下采樣和跨層拼接融合，構造預測模型；

S3、通過基礎網絡架構構造良惡性分類網絡結構，下載預訓練模型權重，設置初始參數，加載訓練數據集，進行3-折交叉訓練，得到lymph-Net深度學習網絡模型；

S4、獲取測試組患者的正負樣本數據集，通過所述lymph-Net深度學習網絡模型在測試組患者的正負樣本數據集上識別標本性質，并實時輸出單張光學圖像的預測結果，所述預測結果包括預測類別和預測概率值，其中，若單個標本具有多張連續拍攝的光學視頻圖像，則通過加權重求取平均值作為預測結果；

S5、通過GCAM熱力圖分析S4的預測結果，觀察所述lymph-Net深度學習網絡模型不同尺度卷積層提取特征的關注區域以及融合模型的預測結果依據，分析預測結果正確和錯誤的原因。

2.如權利要求1所述的一種基于光學圖像的癌癥患者標本性質的辨別方法，其特征在于，步驟S1具體為：

S11、收集訓練組患者標本的光學圖像和患者的病理結果；

S12、對所述光學圖像進行裁剪，并去除拍攝中的冗余信息，得到訓練組患者標本的多幀光學圖像，并結合病例結果，構建淋巴結轉移狀態識別的正負樣本訓練數據集。

3.如權利要求1所述的一種基于光學圖像的癌癥患者標本性質的辨別方法，其特征在于，步驟S2中采用ResNet-152神經網絡作為前哨淋巴結轉移預測模型的基礎網絡架構。

4.如權利要求3所述的一種基于光學圖像的癌癥患者標本性質的辨別方法，其特征在于，步驟S2具體為：

S21、通過ResNet-152神經網絡對訓練組患者標本的光學圖像進行特征提取，獲取對訓練組患者標本性質預測的有效特征圖；

S22、提取ResNet-152神經網絡中不同深度的卷積層特征向量進行拼接融合，得到多尺度融合特征；

S23、將融合特征經過平均池化層和全連接層轉化為二分類結果輸出，使用max函數對softmax函數的輸出值進行操作，得出訓練組患者的預測類別。

5.如權利要求4所述的一種基于光學圖像的癌癥患者標本性質的辨別方法，其特征在于，步驟S21具體為：

S211、將訓練組患者標本的光學圖像輸入到ResNet-152神經網絡中，經過多層瓶頸層結構的卷積層和批歸一化層的疊加由淺到深進行特征提取，淺層瓶頸層提取標本的形態學特征，深層瓶頸層提取標本的高級語義特征，批歸一化層能夠有效保證模型的正則化，緩解梯度消失問題，最后一層卷積層輸出完整的特征圖；

S212、最后一層卷積層后銜接一層自適應平均池化層對所有特征圖中的特征進行選擇，求取各個特征圖的平均值作為有效特征；

S213、將各個特征圖中的有效特征分別在淺層特征圖和深層特征圖中進行適當的選擇拼接融合，形成對訓練組患者標本性質預測的有效特征圖。

6.如權利要求4所述的一種基于光學圖像的癌癥患者標本性質的辨別方法，其特征在于，步驟S22具體為：

S221、將訓練組患者標本性質預測的有效特征圖分別在ResNet-152神經網絡深度為[33，115，477，509]的卷積層卷積后提取待融合特征圖；

S222、淺層特征經過自適應平均池化層對待融合特征圖大小進行調整，然后將4個尺度上的待融合特征圖進行拼接融合，得到3840個融合特征圖，其中，淺層卷積層和深層卷積層對結果預測占有相同的權重系數。