[發明專利]一種生成CT影像表征及影像報告的多模態預訓練方法

在審

• 申請號: 202310180977.5
• 申請日: 2023-02-16
• 公開（公告）號: CN116433934A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 徐楓;馬靚笛;郭雨晨
• 申請（專利權）人: 清華大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/774;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 劉海蓮

本申請提出了一種CT影像表征及影像報告生成的多模態預訓練方法，涉及自然語言處理領域，包括獲取多模態數據組合；對CT影像采取隨機數據增強，并將增強后的數據輸入圖像編碼器進行編碼，確定影像特征；將影像報告輸入文本編碼器進行編碼，確定文本特征，且將影像特征輸入文本解碼器，確定影像描述；分別根據第一影像特征與第二影像特征、文本特征與影像特征在特征空間的相似性以及影像描述與影像報告的準確性，確定混合損失函數；基于混合損失函數，利用梯度下降算法進行模型訓練，更新圖像編碼器、文本編碼器與文本解碼器的參數。本申請能夠實現模型參數優化，提高模型對CT影像的表征能力與數據的使用效率。

技術領域

本申請涉及自然語言處理領域，尤其涉及一種生成CT影像表征及影像報告的多模態預訓練方法。

背景技術

近年來，深度學習技術飛速發展，并在各領域得到了廣泛使用。深度學習技術的成功極大程度上依賴于海量的標注數據，對于醫學、化學、生物學等專業領域，獲取精確的標注需要標注人員具有一定的專業知識，獲得海量標注數據需要極高的成本，給深度學習技術的發展和應用帶來了較大的限制。使用大規模數據對基礎模型進行預訓練，并且利用遷移學習的方法將基礎模型應用到數據規模較小的下游任務中，有助于提高模型處理下游任務的能力。與預定義的標簽或者圖像自監督相比，自然語言具有更加豐富的語義信息，使用自然語言和圖像進行多模態預訓練，能夠為圖像中的細粒度特征提供更為準確的監督信息，有助于模型更準確的提取細粒度圖像的表征。

隨著深度學習技術的發展，基于Transformer的自然語言處理方法能夠有效分析大規模文本數據，適用于對自然語言文本數據進行解析，提取關鍵信息，進行文本編碼，同時可以高效地基于編碼信息生成目標文本；基于卷積神經網絡的圖像處理方法能夠對影像進行高效特征提取，獲取圖像關鍵信息的表征；圖像自監督學習方法能夠幫助模型挖掘更加通用的影像特征。

發明內容

針對上述問題，提出了一種生成CT影像表征及影像報告的多模態預訓練方法，有助于提高模型處理CT影像相關任務的能力。

本申請第一方面提出了一種生成CT影像表征及影像報告的多模態預訓練方法，包括：

獲取多模態數據組合，其中，所述多模態數據組合包括CT影像與影像報告；

對所述CT影像采取隨機數據增強，并將增強后的數據輸入圖像編碼器進行編碼，確定影像特征，其中，所述影像特征包括第一影像特征與第二影像特征；

將所述影像報告輸入文本編碼器進行編碼，確定文本特征，且將所述影像特征輸入文本解碼器，確定影像描述；

分別根據所述第一影像特征與所述第二影像特征、所述文本特征與所述影像特征在特征空間的相似性以及所述影像描述與所述影像報告的準確性，確定混合損失函數；

基于所述混合損失函數，利用梯度下降算法進行模型訓練，更新所述圖像編碼器、所述文本編碼器與所述文本解碼器的參數。

可選的，所述對所述CT影像采取隨機數據增強，并將增強后的數據輸入圖像編碼器進行編碼，確定影像特征，包括：

基于卷積神經網絡構建所述圖像編碼器，根據ImageNet數據集預訓練的模型參數對所述圖像編碼器參數進行初始化；

將所述CT影像進行兩次隨機旋轉、翻轉、裁剪與縮放，得到所述CT影像的兩個不同視角；

將兩個不同視角的影像分別輸入到所述圖像編碼器中進行編碼，得到所述CT影像的兩個不同視角在特征空間中的影像特征。

可選的，所述將所述影像報告輸入文本編碼器進行編碼，確定文本特征，包括：

構建基于Transformer的文本編碼器，根據BERT模型的參數對所述文本編碼器以及文本嵌入矩陣進行初始化；