[發(fā)明專利]一種基于多模態(tài)深度學(xué)習(xí)的數(shù)據(jù)處理預(yù)測(cè)系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211475308.2
• 申請(qǐng)日: 2022-11-23
• 公開（公告）號(hào): CN115732080A
• 公開（公告）日: 2023-03-03
• 發(fā)明（設(shè)計(jì)）人: 趙費(fèi)敏;潘云菲;朱明莉;蔣彬捷;徐津;陳瀟俊
• 申請(qǐng)（專利權(quán)）人: 湖州市中心醫(yī)院
• 主分類號(hào): G16H50/20
• 分類號(hào): G16H50/20;A61B5/346;G16H50/30;G16H50/50
• 代理公司: 成都魚爪智云知識(shí)產(chǎn)權(quán)代理有限公司 51308
• 代理人: 李健華

1.一種基于多模態(tài)深度學(xué)習(xí)的數(shù)據(jù)處理預(yù)測(cè)系統(tǒng)，其特征在于，包括：

數(shù)據(jù)采集模塊，用于采集心室肥大患者脫敏數(shù)據(jù)，并基于所述心室肥大患者脫敏數(shù)據(jù)生成心電圖數(shù)據(jù)和體檢數(shù)據(jù)；

數(shù)據(jù)預(yù)處理模塊，用于根據(jù)第一預(yù)設(shè)規(guī)則對(duì)心電圖數(shù)據(jù)進(jìn)行處理，得到心電圖識(shí)別特征數(shù)據(jù)，并根據(jù)第二預(yù)設(shè)規(guī)則對(duì)體檢數(shù)據(jù)進(jìn)行處理，得到體檢文本數(shù)據(jù)；

預(yù)測(cè)模型訓(xùn)練模塊，用于將心電圖識(shí)別特征數(shù)據(jù)和體檢文本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，訓(xùn)練過(guò)程中的損失函數(shù)采用交叉熵?fù)p失函數(shù)；

預(yù)測(cè)模塊，用于將待預(yù)測(cè)的體檢患者脫敏數(shù)據(jù)輸入預(yù)測(cè)模型訓(xùn)練模塊訓(xùn)練好的預(yù)測(cè)模型中，得到對(duì)應(yīng)的數(shù)據(jù)預(yù)測(cè)結(jié)果。

2.如權(quán)利要求1所述的一種基于多模態(tài)深度學(xué)習(xí)的數(shù)據(jù)處理預(yù)測(cè)系統(tǒng)，其特征在于，所述訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型具體包括：

將心電圖識(shí)別特征數(shù)據(jù)送入ResNet34的主干網(wǎng)絡(luò)進(jìn)行深層圖像特征提取，得到深層圖像特征提取結(jié)果信息，并將心電圖識(shí)別特征數(shù)據(jù)送入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行淺層圖像特征提取，得到淺層圖像特征提取結(jié)果信息；

基于體檢文本數(shù)據(jù)和淺層圖像特征提取結(jié)果信息進(jìn)行融合訓(xùn)練；

將深層圖像特征提取結(jié)果信息和融合訓(xùn)練得到的融合信息通過(guò)全連接層進(jìn)行分類器分類。

3.如權(quán)利要求1所述的一種基于多模態(tài)深度學(xué)習(xí)的數(shù)據(jù)處理預(yù)測(cè)系統(tǒng)，其特征在于，所述數(shù)據(jù)采集模塊進(jìn)一步用于基于所述心室肥大患者脫敏數(shù)據(jù)分別與所述心電圖數(shù)據(jù)和體檢數(shù)據(jù)之間的邏輯關(guān)系進(jìn)行錄入、編輯和查看對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)。

4.如權(quán)利要求1所述的一種基于多模態(tài)深度學(xué)習(xí)的數(shù)據(jù)處理預(yù)測(cè)系統(tǒng)，其特征在于，所述第一預(yù)設(shè)規(guī)則包括利用預(yù)置的信號(hào)處理方法對(duì)心電圖數(shù)據(jù)中的心電信號(hào)進(jìn)行噪聲剔除和偽差修正。

5.如權(quán)利要求1所述的一種基于多模態(tài)深度學(xué)習(xí)的數(shù)據(jù)處理預(yù)測(cè)系統(tǒng)，其特征在于，所述第二預(yù)設(shè)規(guī)則包括：

利用XGBoost和LightGBM算法對(duì)體檢數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并基于預(yù)訓(xùn)練獲得的特征重要性排序進(jìn)行選擇特征，得到特征選擇信息；

基于特征選擇信息建立體檢文本數(shù)據(jù)。

6.如權(quán)利要求1所述的一種基于多模態(tài)深度學(xué)習(xí)的數(shù)據(jù)處理預(yù)測(cè)系統(tǒng)，其特征在于，所述第二預(yù)設(shè)規(guī)則包括對(duì)缺失值進(jìn)行填充、進(jìn)行異常值檢測(cè)和對(duì)離群點(diǎn)進(jìn)行單獨(dú)處理。

7.如權(quán)利要求6所述的一種基于多模態(tài)深度學(xué)習(xí)的數(shù)據(jù)處理預(yù)測(cè)系統(tǒng)，其特征在于，所述對(duì)缺失值進(jìn)行填充的方法包括平均值填充、中值填充、眾數(shù)填充或回歸填充中的至少一種，所述對(duì)離群點(diǎn)進(jìn)行單獨(dú)處理包括對(duì)離群點(diǎn)采用剔除或替換進(jìn)行重構(gòu)處理。

8.一種基于多模態(tài)深度學(xué)習(xí)的數(shù)據(jù)處理預(yù)測(cè)方法，其特征在于，包括以下步驟：

采集心室肥大患者脫敏數(shù)據(jù)，并基于所述心室肥大患者脫敏數(shù)據(jù)生成心電圖數(shù)據(jù)和體檢數(shù)據(jù)；

根據(jù)第一預(yù)設(shè)規(guī)則對(duì)心電圖數(shù)據(jù)進(jìn)行處理，得到心電圖識(shí)別特征數(shù)據(jù)，并根據(jù)第二預(yù)設(shè)規(guī)則對(duì)體檢數(shù)據(jù)進(jìn)行處理，得到體檢文本數(shù)據(jù)；

將心電圖識(shí)別特征數(shù)據(jù)和體檢文本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，訓(xùn)練過(guò)程中的損失函數(shù)采用交叉熵?fù)p失函數(shù)；

將待預(yù)測(cè)的體檢患者脫敏數(shù)據(jù)輸入預(yù)測(cè)模型訓(xùn)練模塊訓(xùn)練好的預(yù)測(cè)模型中，得到對(duì)應(yīng)的預(yù)測(cè)結(jié)果。

9.一種電子設(shè)備，其特征在于，包括至少一個(gè)處理器、至少一個(gè)存儲(chǔ)器和數(shù)據(jù)總線；其中：所述處理器與所述存儲(chǔ)器通過(guò)所述數(shù)據(jù)總線完成相互間的通信；所述存儲(chǔ)器存儲(chǔ)有被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令以執(zhí)行如權(quán)利要求8所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求8所述的方法。