[發(fā)明專利]一種基于多模態(tài)圖像聯(lián)邦分割的數(shù)據(jù)增廣方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310284567.5
• 申請日: 2023-03-22
• 公開（公告）號: CN116580188A
• 公開（公告）日: 2023-08-11
• 發(fā)明（設計）人: 班曉娟;胡陳菲;馬博淵;印象
• 申請（專利權）人: 北京科技大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06V10/82;G06V10/80;G06V20/70;G06F21/60;G06F21/62
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

本發(fā)明涉及圖像處理技術領域，特別是指一種基于多模態(tài)圖像聯(lián)邦分割的數(shù)據(jù)增廣方法及系統(tǒng)，方法包括：匯總節(jié)點向每個參與節(jié)點下發(fā)控制信息對；各自構建初始模態(tài)生成分割網(wǎng)絡模型；每個參與節(jié)點將本地樣本圖像、對應的真實標注以及控制信息對輸入初始模態(tài)生成分割網(wǎng)絡模型，得到中間網(wǎng)絡參數(shù)；將中間網(wǎng)絡參數(shù)傳輸至匯總節(jié)點，匯總節(jié)點對多個參與節(jié)點的中間網(wǎng)絡參數(shù)進行聯(lián)邦平均，得到合并網(wǎng)絡參數(shù)，將合并網(wǎng)絡參數(shù)回傳給每個參與節(jié)點；迭代執(zhí)行上述步驟，直到完成訓練；每個參與節(jié)點根據(jù)訓練好的模態(tài)生成分割網(wǎng)絡模型生成多模態(tài)生成圖像，進行數(shù)據(jù)增廣。采用本發(fā)明，在保護各個參與方數(shù)據(jù)隱私的同時，提高圖像聯(lián)邦分割模型的準確度和泛化能力。

技術領域

本發(fā)明涉及圖像處理技術領域，特別是指一種基于多模態(tài)圖像聯(lián)邦分割的數(shù)據(jù)增廣方法及系統(tǒng)。

背景技術

圖像分割任務，一直以來都是圖像處理領域里的一個重要研究分支，在科研、軍事、醫(yī)療等領域都發(fā)揮著重要的作用。近年來隨著計算機技術以及數(shù)據(jù)驅(qū)動算法的發(fā)展，數(shù)據(jù)驅(qū)動的圖像分割算法展現(xiàn)出了強大的性能優(yōu)勢，不同領域?qū)Ω哔|(zhì)量有標注圖像分割數(shù)據(jù)集的需求也越來越大。在醫(yī)療等領域的實際應用中，受限于數(shù)據(jù)隱私保護政策和高昂的數(shù)據(jù)制備及標注成本，數(shù)據(jù)持有方通常不愿意共享數(shù)據(jù)，逐漸形成數(shù)據(jù)孤島，致使難以有效訓練泛化性強的智能模型。

聯(lián)邦學習技術通過在模型訓練過程中，通過模型參數(shù)在節(jié)點中流動而數(shù)據(jù)不流動的方式，可緩解系統(tǒng)性數(shù)據(jù)隱私泄露的風險。以此可以促進不同客戶之間的合作，同時為打破醫(yī)療領域的數(shù)據(jù)孤島提供了可行的解決方案。然而，當不同參與方之間的訓練數(shù)據(jù)存在非獨立同分布特征(Non-independent?and?identically?distributed，Non-IID)時，將為聯(lián)邦學習帶來巨大挑戰(zhàn)，導致模型訓練性能更差，收斂速度更慢。以肝臟影像識別為例，不同醫(yī)療機構可能采用不同的成像模態(tài)(如計算機斷層掃描(Computer?Tomography，CT)、核磁共振成像(Magnetic?Resonance?Image，MRI)和超聲成像等)進行醫(yī)療觀測，上述圖像具有相同的組織結構和不同的圖像紋理特征，從而導致不同醫(yī)院之間存在數(shù)據(jù)非獨立同分布(Non-IID)特征，制約了聯(lián)邦學習的性能。Zhao等人提出了利用大規(guī)模共有數(shù)據(jù)作為共享數(shù)據(jù)的方式(Zhao,Yue,et?al.Federated?learning?with?non-iid?data.arXiv?preprintarXiv:1806.00582,2018)，有效緩解了不同節(jié)點之間數(shù)據(jù)差異帶來的算法性能衰退。但由于醫(yī)療研究領域缺乏大規(guī)模的公共數(shù)據(jù)集，這種數(shù)據(jù)共享方式并不適合醫(yī)療等領域的圖像分割任務。班曉娟等人提出一種基于聯(lián)邦學習和風格遷移的聯(lián)邦分割方法(班曉娟，陳佳豪，馬博淵，印象.一種基于聯(lián)邦學習與風格遷移的圖像分割方法及系統(tǒng)[P].中國，202111296271.2，2021-11-03)，通過在各個參與方本地分別訓練風格遷移模型再交換實現(xiàn)數(shù)據(jù)增廣，可緩解Non-IID的影響，但是該方法隨著參與節(jié)點的增加，通信代價將呈現(xiàn)指數(shù)級增長，不利于實踐。

因此，在圖像分割領域迫切需要一種能夠在保護參與者數(shù)據(jù)隱私的基礎上打破數(shù)據(jù)孤島，同時具有有限的通信代價，可利用不同參與方的多模態(tài)圖像數(shù)據(jù)，提高聯(lián)邦分割模型泛化性能的新型策略。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種基于多模態(tài)圖像聯(lián)邦分割的數(shù)據(jù)增廣方法及系統(tǒng)。所述技術方案如下：

一方面，提供了一種基于多模態(tài)圖像聯(lián)邦分割的數(shù)據(jù)增廣方法，該方法由節(jié)點設備實現(xiàn)，該方法包括：

S1、所述匯總節(jié)點向每個參與節(jié)點下發(fā)控制信息對，所述控制信息對由每個參與節(jié)點的域向量和分割標簽組成；

S2、所述匯總節(jié)點與每個參與節(jié)點各自構建初始模態(tài)生成分割網(wǎng)絡模型；

S3、每個參與節(jié)點將本地樣本圖像、本地樣本圖像對應的真實標注以及控制信息對輸入各自的初始模態(tài)生成分割網(wǎng)絡模型，對初始模態(tài)生成分割網(wǎng)絡模型的網(wǎng)絡參數(shù)進行訓練，得到初始模態(tài)生成分割網(wǎng)絡模型的中間網(wǎng)絡參數(shù)；