[發(fā)明專利]一種基于多模態(tài)融合的胰腺癌早期診斷方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210123985.1
• 申請(qǐng)日: 2022-02-10
• 公開(kāi)（公告）號(hào): CN114520052A
• 公開(kāi)（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 王楷林;馮瑞
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): G16H50/20
• 分類號(hào): G16H50/20;G06V10/764;G06V10/80;G06V10/82;G06V10/771;G06V10/774;G06K9/62
• 代理公司: 上海德昭知識(shí)產(chǎn)權(quán)代理有限公司 31204
• 代理人: 程宗德

1.一種基于多模態(tài)融合的胰腺癌早期診斷方法，其特征在于，包括以下步驟：

步驟1，對(duì)病人的血檢數(shù)據(jù)和影像數(shù)據(jù)進(jìn)行預(yù)處理，獲得血檢數(shù)據(jù)特征和影像特征；

步驟2，將所述影像特征和對(duì)應(yīng)的所述血檢數(shù)據(jù)特征融合，以雙模態(tài)融合的結(jié)果作為數(shù)據(jù)集訓(xùn)練分類模型，得到多模態(tài)胰腺癌早期診斷模型；

步驟3，根據(jù)病人的血檢和影像結(jié)果，采用所述多模態(tài)胰腺癌早期診斷模型進(jìn)行診斷工作。

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)融合的胰腺癌早期診斷方法，其特征在于：

其中，步驟1包括以下步驟：

步驟1-1，對(duì)所述血檢數(shù)據(jù)和所述影像數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，去掉過(guò)于多缺實(shí)值的數(shù)據(jù)；

步驟1-2，通過(guò)ResNet-50提取每位患者的所述影像特征；

步驟1-3，通過(guò)OneHot Encoder提取患者的所述血檢數(shù)據(jù)特征；

步驟1-4，通過(guò)PCA對(duì)所述影像特征進(jìn)行降維處理；

步驟1-5，將所述影像特征與患者對(duì)應(yīng)的所述血檢數(shù)據(jù)特征進(jìn)行拼接融合處理。

3.根據(jù)權(quán)利要求2所述的一種基于多模態(tài)融合的胰腺癌早期診斷方法，其特征在于：

其中，步驟1-1中，所述數(shù)據(jù)清洗時(shí)，由于病人的所述血檢數(shù)據(jù)和所述影像數(shù)據(jù)存在缺失的問(wèn)題，故將缺失值大于50％的數(shù)據(jù)去掉，其他缺失值采用眾數(shù)填充。

4.根據(jù)權(quán)利要求2所述的一種基于多模態(tài)融合的胰腺癌早期診斷方法，其特征在于：

其中，步驟1-3中，通過(guò)所述OneHot Encoder提取患者的所述血檢數(shù)據(jù)特征時(shí)，為避免多重共線性，故需要?jiǎng)h除每列編碼后第一列。

5.一種基于多模態(tài)融合的胰腺癌早期診斷系統(tǒng)，其特征在于，包括：

預(yù)處理部，對(duì)病人的血檢數(shù)據(jù)和影像數(shù)據(jù)進(jìn)行預(yù)處理，獲得血檢數(shù)據(jù)特征和影像特征；

診斷部，將所述影像特征和對(duì)應(yīng)的所述血檢數(shù)據(jù)特征融合，以雙模態(tài)融合的結(jié)果作為數(shù)據(jù)集訓(xùn)練分類模型，得到多模態(tài)胰腺癌早期診斷模型，根據(jù)病人的血檢和影像結(jié)果，采用所述多模態(tài)胰腺癌早期診斷模型進(jìn)行診斷工作。