[發(fā)明專利]基于文本和圖片的雙模態(tài)胃部疾病分類方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110146683.1
• 申請(qǐng)日: 2021-02-03
• 公開（公告）號(hào): CN112784801A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 李壽山;羅佳敏;王晶晶;周國(guó)棟;張民
• 申請(qǐng)（專利權(quán)）人: 紫東信息科技（蘇州）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 蘇州謹(jǐn)和知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32295
• 代理人: 徐磊

1.一種基于文本和圖片的雙模態(tài)胃部疾病分類方法，其特征在于，所述方法包括：

將病歷報(bào)告輸入預(yù)先訓(xùn)練的文本提取網(wǎng)絡(luò)，得到所述病歷報(bào)告的文本特征向量；

將胃鏡圖片輸入預(yù)先訓(xùn)練的圖片提取網(wǎng)絡(luò)，得到所述胃鏡圖片的圖片特征向量，所述胃鏡圖片和所述病歷報(bào)告對(duì)應(yīng)同一對(duì)象；

將所述文本特征向量和所述圖片特征向量進(jìn)行特征融合，并將融合后的特征向量輸入預(yù)先訓(xùn)練的分類器中，得到胃部疾病的分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將病歷報(bào)告輸入預(yù)先訓(xùn)練的文本提取網(wǎng)絡(luò)，得到所述病歷報(bào)告的文本特征向量，包括：

從所述病歷報(bào)告中提取主訴文本；

將所述主訴文本經(jīng)過BERT預(yù)訓(xùn)練模型進(jìn)行編碼，得到所述文本特征向量并存儲(chǔ)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

使用BERT預(yù)訓(xùn)練模型，將所述主訴文本輸入transformer模型中進(jìn)行編碼，得到所述文本特征向量后，進(jìn)行邏輯回歸softmax分類，得到文本單模態(tài)的分類結(jié)果。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將胃鏡圖片輸入預(yù)先訓(xùn)練的圖片提取網(wǎng)絡(luò)，得到所述胃鏡圖片的圖片特征向量，包括：

將所述胃鏡圖片輸入預(yù)訓(xùn)練模型VGG19中，經(jīng)過所述VGG19的表示得到最后一層的輸出特征向量，得到所述圖片特征向量并存儲(chǔ)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

在得到所述圖片特征向量后，再通過softmax進(jìn)行分類，得到圖片單模態(tài)的分類結(jié)果。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述文本特征向量和所述圖片特征向量進(jìn)行特征融合，包括：

將所述文本特征向量和所述圖片特征向量進(jìn)行拼接，得到融合后的特征向量。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述文本特征向量和所述圖片特征向量進(jìn)行特征融合，包括：

將所述文本特征向量和所述圖片特征向量輸入預(yù)先訓(xùn)練的張量融合網(wǎng)絡(luò)TFN，得到融合后的特征向量。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分類器包括長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)LSTM網(wǎng)絡(luò)和softmax分類函數(shù)。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述胃部疾病的分類結(jié)果包括每種分類的概率，對(duì)于概率大于預(yù)設(shè)閾值的分類為最終的胃部疾病的診斷結(jié)果。

10.一種基于文本和圖片的雙模態(tài)胃部疾病分類裝置，其特征在于，所述裝置包括：

文本提取模塊，用于將病歷報(bào)告輸入預(yù)先訓(xùn)練的文本提取網(wǎng)絡(luò)，得到所述病歷報(bào)告的文本特征向量；

圖片提取模塊，用于將胃鏡圖片輸入預(yù)先訓(xùn)練的圖片提取網(wǎng)絡(luò)，得到所述胃鏡圖片的圖片特征向量；

雙模態(tài)分類模塊，用于將所述文本特征向量和所述圖片特征向量進(jìn)行特征融合，并將融合后的特征向量輸入預(yù)先訓(xùn)練的分類器中，得到胃部疾病的分類結(jié)果。