[發明專利]基于文本和圖片的雙模態胃部疾病分類方法及裝置

在審

• 申請號: 202110146683.1
• 申請日: 2021-02-03
• 公開（公告）號: CN112784801A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 李壽山;羅佳敏;王晶晶;周國棟;張民
• 申請（專利權）人: 紫東信息科技（蘇州）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 蘇州謹和知識產權代理事務所(特殊普通合伙) 32295
• 代理人: 徐磊

本申請涉及一種基于文本和圖片的雙模態胃部疾病分類方法及裝置，屬于醫學文本和圖像雙模態智能處理技術領域，該方法包括：將病歷報告輸入預先訓練的文本提取網絡，得到病歷報告的文本特征向量；將胃鏡圖片輸入預先訓練的圖片提取網絡，得到胃鏡圖片的圖片特征向量；將文本特征向量和圖片特征向量進行特征融合，并將融合后的特征向量輸入預先訓練的分類器中，得到胃部疾病的分類結果；可以解決人工診斷胃部疾病的效率較低的問題；實現自動地對胃部疾病進行分類，提高胃部疾病診斷效果。另外，通過結合文本特征向量和圖片特征向量進行胃部疾病分類，相較于單獨使用文本或者圖片來說，具有更高的分類準確性。

【技術領域】

本申請涉及一種基于文本和圖片的雙模態胃部疾病分類方法及裝置，屬于醫學文本和圖像雙模態智能處理技術領域。

【背景技術】

胃癌是一種起源于胃黏膜上皮的惡性腫瘤，在我國的各類惡性腫瘤中發病率處于首位。由于胃鏡技術在胃癌診斷方面效果顯著，已被推薦為胃癌的主要診斷方法。

具體來說胃鏡檢查，可以直接探及胃內的病變組織區域作出相應的診斷，在胃鏡下可以做組織活檢對早期的胃癌癌前疾病或者是癌前病變的診斷及鑒別良性惡性潰瘍都有重要作用。

但是由于人為因素例如醫生的經驗水平不一致，或者疏忽等特殊特殊情況會直接影響最后的胃癌診斷情況，同時人眼觀察胃鏡圖片也會耗費大量的時間。

【發明內容】

本申請提供了一種基于文本和圖片的雙模態胃部疾病分類方法及裝置，可以解決人工診斷胃部疾病的效率較低的問題。本申請提供如下技術方案：

第一方面，提供一種基于文本和圖片的雙模態胃部疾病分類方法，所述方法包括：

將病歷報告輸入預先訓練的文本提取網絡，得到所述病歷報告的文本特征向量；

將胃鏡圖片輸入預先訓練的圖片提取網絡，得到所述胃鏡圖片的圖片特征向量，所述胃鏡圖片和所述病歷報告對應同一對象；

將所述文本特征向量和所述圖片特征向量進行特征融合，并將融合后的特征向量輸入預先訓練的分類器中，得到胃部疾病的分類結果。

可選地，所述將病歷報告輸入預先訓練的文本提取網絡，得到所述病歷報告的文本特征向量，包括：

從所述病歷報告中提取主訴文本；

將所述主訴文本經過BERT預訓練模型進行編碼，得到所述文本特征向量并存儲。

可選地，所述方法還包括：

使用BERT預訓練模型，將所述主訴文本輸入transformer模型中進行編碼，得到所述文本特征向量后，進行邏輯回歸softmax分類，得到文本單模態的分類結果。

可選地，所述將胃鏡圖片輸入預先訓練的圖片提取網絡，得到所述胃鏡圖片的圖片特征向量，包括：

將所述胃鏡圖片輸入預訓練模型VGG19中，經過所述VGG19的表示得到最后一層的輸出特征向量，得到所述圖片特征向量并存儲。

可選地，所述方法還包括：

在得到所述圖片特征向量后，再通過softmax進行分類，得到圖片單模態的分類結果。

可選地，所述將所述文本特征向量和所述圖片特征向量進行特征融合，包括：

將所述文本特征向量和所述圖片特征向量進行拼接，得到融合后的特征向量。

可選地，所述將所述文本特征向量和所述圖片特征向量進行特征融合，包括：

將所述文本特征向量和所述圖片特征向量輸入預先訓練的張量融合網絡TFN，得到融合后的特征向量。