[發明專利]一種基于多模態融合的可信聯邦建模方法

在審

• 申請號: 202310554332.3
• 申請日: 2023-05-17
• 公開（公告）號: CN116561704A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 解萌;孫善寶;張鑫
• 申請（專利權）人: 山東浪潮科學研究院有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06N3/0442;G06N3/0464;G06N20/00
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜鵬

本發明涉及聯邦學習技術領域，具體為一種基于多模態融合的可信聯邦建模方法，包括以下步驟：醫院客戶端收集大量的產后抑郁確診患者的多類數據信息，進行預處理，完成不同模態間子組件的對齊；使用LSTM編碼文本，并逐步融入對圖像的卷積特征注意力機制，完成多模態數據融合；有益效果為：本發明提出的基于多模態融合的可信聯邦建模方法，面向智慧醫療場景，基于來自結合不同醫院的已確診產后抑郁患者數據，包括日常身體狀態數據、磁共振成像數據、產后抑郁篩查量表等多類醫療數據，聯合各地醫院客戶端進行聯邦學習，形成產后抑郁監測模型并持續優化；與目前常見的基于產后抑郁篩查量表的方式相比，監測效率更高且更加精準安全。

技術領域

本發明涉及聯邦學習技術領域，具體為一種基于多模態融合的可信聯邦建模方法。

背景技術

近年來，數據要素逐漸成為推動經濟增長的新引擎，而隱私計算作為一種促進數據流通合規的“技術解”，正在醫療健康等領域發揮著越來越重要的作用。隱私計算保護技術能夠有效幫助醫療機構在滿足用戶隱私數據保護，且數據共享方式符合政府相關法規要求的前提下，實現多方機構數據融合和聯合建模，從技術上打破數據孤島現象。

現有技術中，聯邦學習是一種新興的人工智能基礎技術，也是目前隱私計算核心技術之一，其通過“數據不動模型動”的應用新范式，實現了數據隱私保護和數據共享計算的平衡。公開數據顯示，我國每5個產婦中就有1個抑郁癥患者，63％的女性曾患產后抑郁，產后抑郁發病率高且所帶來的危害涉及家庭社會等多個方面，但由于其發病及臨床表現比較隱匿，很難被及時發現。

但是，目前的臨床診斷率和治療率都偏低。產后抑郁癥的診斷至今無統一的標準，醫院常用的檢測手段是通過產婦自己填寫的愛丁堡產后抑郁自測量表來篩查出可疑患者。在這種情況下，如何利用聯邦學習技術高效安全地對不同地域的醫療診斷數據進行分析，及時精準發現產婦的心理問題，從而輔助臨床診斷和治療，同時保護醫療數據隱私安全，成為亟需解決的問題。

發明內容

本發明的目的在于提供一種基于多模態融合的可信聯邦建模方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種基于多模態融合的可信聯邦建模方法，于進行產后抑郁的早期篩查，所述可信聯邦建模方法包括以下步驟：

步驟101、醫院客戶端收集大量的產后抑郁確診患者的多類數據信息，進行預處理，完成不同模態間子組件的對齊；

步驟102、使用LSTM編碼文本，并逐步融入對圖像的卷積特征注意力機制，完成多模態數據融合；

步驟103、基于CNN和Attention算法訓練形成產后抑郁監測模型，保存在各醫院客戶端；

步驟104、醫院客戶端發布產后抑郁監測聯邦學習模型訓練任務和推理任務的數據要求、計算資源要求及獎勵機制；

步驟105、隨機選取參與方中的N個進行聯邦學習，并上傳這N個經過差分隱私處理后的數據模型參數聚合到中央服務器；

步驟106、中央服務器基于匯集的模型數據，計算梯度，通過FedAvg方式對參數進行向量化更新，形成新的產后抑郁監測模型；

步驟107、中央服務器下發更新后的監測模型給所有參與方，在各醫院客戶端本地進行模型更新；

步驟108、重復執行步驟104至步驟107，持續優化本地模型，直到模型精確度達到設定值，完成各醫院客戶端的產后抑郁模型建立。

優選的，多類數據信息是指文本、圖像數據信息，具體包括產后抑郁確診患者的整個孕產周期過程中的產檢數據如心跳、血壓、激素水平等身體狀態基礎情況，生產住院期間的治療、用藥情況，產后抑郁篩查量表統計，以及確認檢測的腦電波情況、磁共振成像數據信息。

優選的，多模態數據融合基于Attention機制。