[發明專利]一種基于多模態融合的可信聯邦建模方法

在審

• 申請號: 202310554332.3
• 申請日: 2023-05-17
• 公開（公告）號: CN116561704A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 解萌;孫善寶;張鑫
• 申請（專利權）人: 山東浪潮科學研究院有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06N3/0442;G06N3/0464;G06N20/00
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜鵬

1.一種基于多模態融合的可信聯邦建模方法，于進行產后抑郁的早期篩查，其特征在于：所述可信聯邦建模方法包括以下步驟：

步驟101、醫院客戶端收集大量的產后抑郁確診患者的多類數據信息，進行預處理，完成不同模態間子組件的對齊；

步驟102、使用LSTM編碼文本，并逐步融入對圖像的卷積特征注意力機制，完成多模態數據融合；

步驟103、基于CNN和Attention算法訓練形成產后抑郁監測模型，保存在各醫院客戶端；

步驟104、醫院客戶端發布產后抑郁監測聯邦學習模型訓練任務和推理任務的數據要求、計算資源要求及獎勵機制；

步驟105、隨機選取參與方中的N個進行聯邦學習，并上傳這N個經過差分隱私處理后的數據模型參數聚合到中央服務器；

步驟106、中央服務器基于匯集的模型數據，計算梯度，通過FedAvg方式對參數進行向量化更新，形成新的產后抑郁監測模型；

步驟107、中央服務器下發更新后的監測模型給所有參與方，在各醫院客戶端本地進行模型更新；

步驟108、重復執行步驟104至步驟107，持續優化本地模型，直到模型精確度達到設定值，完成各醫院客戶端的產后抑郁模型建立。

2.根據權利要求1所述的一種基于多模態融合的可信聯邦建模方法，其特征在于：多類數據信息是指文本、圖像數據信息，具體包括產后抑郁確診患者的整個孕產周期過程中的產檢數據如心跳、血壓、激素水平等身體狀態基礎情況，生產住院期間的治療、用藥情況，產后抑郁篩查量表統計，以及確認檢測的腦電波情況、磁共振成像數據信息。

3.根據權利要求1所述的一種基于多模態融合的可信聯邦建模方法，其特征在于：多模態數據融合基于Attention機制。

4.根據權利要求1所述的一種基于多模態融合的可信聯邦建模方法，其特征在于：中央服務器是指非可信第三方服務器，用于進行聚合監測模型的訓練，并將訓練結果分發至各醫院客戶端。

5.根據權利要求1所述的一種基于多模態融合的可信聯邦建模方法，其特征在于：在醫院客戶端執行抑郁模型監測推理時，如發現監測數據異常，將收到及時提醒并上報；醫院客戶端接收到異常提醒后，記錄事件特征，并上傳數據至訓練庫；醫院客戶端接收數據，形成產后抑郁數據庫，持續改進監測效率和精確度。