[發(fā)明專利]頭頸部腫瘤分布式智能診斷方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211461160.7
• 申請(qǐng)日: 2022-11-21
• 公開（公告）號(hào): CN115831350A
• 公開（公告）日: 2023-03-21
• 發(fā)明（設(shè)計(jì)）人: 張水興;方進(jìn);張璐;金哲;張斌;何子聰
• 申請(qǐng)（專利權(quán)）人: 暨南大學(xué)附屬第一醫(yī)院（廣州華僑醫(yī)院）
• 主分類號(hào): G16H50/20
• 分類號(hào): G16H50/20;G16H50/70;G16H10/60;G16H30/20;G06T7/00;G06V10/26;G06V10/40;G06V10/82
• 代理公司: 廣州高炬知識(shí)產(chǎn)權(quán)代理有限公司 44376
• 代理人: 高雁

1.一種頭頸部腫瘤分布式智能診斷方法，其特征在于，包括：

建立多源異構(gòu)生物醫(yī)學(xué)數(shù)據(jù)的頭頸部腫瘤標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)；

構(gòu)建基于生物醫(yī)學(xué)大數(shù)據(jù)的頭頸部腫瘤智能診療模型，并通過所述頭頸部腫瘤標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中的多模態(tài)數(shù)據(jù)對(duì)所述頭頸部腫瘤智能診療模型進(jìn)行訓(xùn)練；

將實(shí)時(shí)獲取的多源異構(gòu)生物醫(yī)學(xué)數(shù)據(jù)輸入訓(xùn)練完成的所述頭頸部腫瘤智能診療模型，輸出結(jié)果實(shí)現(xiàn)對(duì)頭頸部腫瘤的智能化診療。

2.根據(jù)權(quán)利要求1所述的頭頸部腫瘤分布式智能診斷方法，其特征在于，在建立多源異構(gòu)生物醫(yī)學(xué)數(shù)據(jù)的頭頸部腫瘤標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)的步驟中，包括：

數(shù)據(jù)收集：通過PACS業(yè)務(wù)系統(tǒng)收集多中心的頭頸部腫瘤影像、病理、基因、臨床的跨尺度多模態(tài)數(shù)據(jù)；

數(shù)據(jù)加密：采用數(shù)據(jù)匿名、數(shù)據(jù)脫敏、去身份化、區(qū)塊鏈技術(shù)保證數(shù)據(jù)安全性和隱私性；

數(shù)據(jù)標(biāo)準(zhǔn)化處理：對(duì)電子病歷及PACS系統(tǒng)采集的數(shù)據(jù)進(jìn)行二次處理，包括數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、數(shù)據(jù)結(jié)構(gòu)化、數(shù)據(jù)脫敏、數(shù)據(jù)整合、數(shù)據(jù)轉(zhuǎn)化和數(shù)據(jù)質(zhì)控；

數(shù)據(jù)庫(kù)建立與應(yīng)用：跨尺度多模態(tài)數(shù)據(jù)經(jīng)上述處理，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的采集、清洗、治理、轉(zhuǎn)化和質(zhì)控，形成頭頸部腫瘤標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)。

3.根據(jù)權(quán)利要求2所述的頭頸部腫瘤分布式智能診斷方法，其特征在于，在建立多源異構(gòu)生物醫(yī)學(xué)數(shù)據(jù)的頭頸部腫瘤標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)的步驟之后，還包括建立信息基礎(chǔ)設(shè)施平臺(tái)的步驟：

基于平臺(tái)數(shù)據(jù)集成，以服務(wù)器作為基礎(chǔ)硬件平臺(tái)，形成臨床數(shù)據(jù)中心，依據(jù)科研的要求實(shí)現(xiàn)數(shù)據(jù)的采集歸檔，從而形成科研數(shù)據(jù)中心，通過醫(yī)療大數(shù)據(jù)平臺(tái)開展各類應(yīng)用，提高頭頸部腫瘤診療水平、為患者提供精準(zhǔn)化的醫(yī)療服務(wù)實(shí)現(xiàn)數(shù)據(jù)運(yùn)營(yíng)。

4.根據(jù)權(quán)利要求1所述的頭頸部腫瘤分布式智能診斷方法，其特征在于，所述頭頸部腫瘤智能診療模型包括：多模態(tài)數(shù)據(jù)表征模塊、多模態(tài)數(shù)據(jù)融合模塊及建模模塊；

其中，所述多模態(tài)數(shù)據(jù)表征模塊通過自編碼器對(duì)臨床文本數(shù)據(jù)進(jìn)行統(tǒng)一編碼；針對(duì)病理圖像，采用Faster R-CNN網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型，結(jié)合基于遷移學(xué)習(xí)的CNN網(wǎng)絡(luò)對(duì)感興趣區(qū)的病理特征進(jìn)行提取；針對(duì)生命組學(xué)數(shù)據(jù)，利用圖卷積神經(jīng)網(wǎng)絡(luò)技術(shù)融合分析基因組、轉(zhuǎn)錄組、蛋白質(zhì)組學(xué)特征內(nèi)在關(guān)聯(lián)，深入挖掘基因表達(dá)信息針對(duì)影像數(shù)據(jù)，采用U-Net架構(gòu)對(duì)圖像進(jìn)行自動(dòng)分割，通過Pyradiomics或CNN卷積神經(jīng)網(wǎng)絡(luò)提取影像組學(xué)特征；最后將上述信息表示為多模態(tài)數(shù)據(jù)融合所需的嵌入形式；

所述多模態(tài)數(shù)據(jù)融合模塊用于基于時(shí)空組學(xué)分析的多源數(shù)據(jù)映射技術(shù)，挖掘不同源數(shù)據(jù)之間的關(guān)聯(lián)規(guī)則；構(gòu)建基于深度組學(xué)分析的多源數(shù)據(jù)融合篩選技術(shù)，篩選出反映腫瘤關(guān)鍵多分子事件的微觀生物標(biāo)志物；通過融合寬度-深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)分析方法，填補(bǔ)宏觀影像高維量化特征與微觀多分子事件生物特征的關(guān)聯(lián)；

所述建模模塊針對(duì)臨床文本數(shù)據(jù)，采用Text-Autoencoder自動(dòng)結(jié)構(gòu)化提取后輸入跨模態(tài)對(duì)齊網(wǎng)絡(luò)進(jìn)行特征篩選；病理組學(xué)、影像組學(xué)及內(nèi)鏡圖像特征采用遞歸特征消除機(jī)器學(xué)習(xí)算法進(jìn)行特征篩選；基因組學(xué)數(shù)據(jù)采用基于流形理論與拓?fù)浞治龅姆蔷€性降維聚類分析UMAP算法表征；通過MaskedLM、Vision-Language Matching對(duì)齊多模態(tài)數(shù)據(jù)信息，根據(jù)模態(tài)來源對(duì)嵌入數(shù)據(jù)進(jìn)行標(biāo)記后，逐個(gè)拼接為一維嵌入，輸入基于合作學(xué)習(xí)的寬度-深度學(xué)習(xí)跨模態(tài)數(shù)據(jù)分析網(wǎng)絡(luò)中，通過時(shí)空組學(xué)多頭注意力機(jī)制融合多模態(tài)特征，針對(duì)不同目的設(shè)置將自注意力模塊輸出的融合特征輸入到相應(yīng)的多層感知機(jī)層，獲得最終的分類或回歸輸出，實(shí)現(xiàn)頭頸部腫瘤的早期篩查、精準(zhǔn)診斷、治療決策、預(yù)后預(yù)測(cè)。

5.根據(jù)權(quán)利要求1所述的頭頸部腫瘤分布式智能診斷方法，其特征在于，所述頭頸部腫瘤智能診療模型采用基于區(qū)塊鏈加密的合作學(xué)習(xí)，實(shí)現(xiàn)多模態(tài)數(shù)據(jù)融合模型的去中心化、分布式訓(xùn)練，僅授權(quán)的數(shù)據(jù)中心可加入群網(wǎng)絡(luò)，單個(gè)節(jié)點(diǎn)使用本地?cái)?shù)據(jù)訓(xùn)練模型且只向外部傳輸訓(xùn)練完成的模型參數(shù)。