[發明專利]一種生成CT影像表征及影像報告的多模態預訓練方法

在審

• 申請號: 202310180977.5
• 申請日: 2023-02-16
• 公開（公告）號: CN116433934A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 徐楓;馬靚笛;郭雨晨
• 申請（專利權）人: 清華大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/774;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 劉海蓮

1.一種生成CT影像表征及影像報告的多模態預訓練方法，其特征在于，包括：

獲取多模態數據組合，其中，所述多模態數據組合包括CT影像與影像報告；

對所述CT影像采取隨機數據增強，并將增強后的數據輸入圖像編碼器進行編碼，確定影像特征，其中，所述影像特征包括第一影像特征與第二影像特征；

將所述影像報告輸入文本編碼器進行編碼，確定文本特征，且將所述影像特征輸入文本解碼器，確定影像描述；

分別根據所述第一影像特征與所述第二影像特征、所述文本特征與所述影像特征在特征空間的相似性以及所述影像描述與所述影像報告的準確性，確定混合損失函數；

基于所述混合損失函數，利用梯度下降算法進行模型訓練，更新所述圖像編碼器、所述文本編碼器與所述文本解碼器的參數。

2.根據權利要求1所述的方法，其特征在于，所述對所述CT影像采取隨機數據增強，并將增強后的數據輸入圖像編碼器進行編碼，確定影像特征，包括：

基于卷積神經網絡構建所述圖像編碼器，根據ImageNet數據集預訓練的模型參數對所述圖像編碼器參數進行初始化；

將所述CT影像進行兩次隨機旋轉、翻轉、裁剪與縮放，得到所述CT影像的兩個不同視角；

將兩個不同視角的影像分別輸入到所述圖像編碼器中進行編碼，得到所述CT影像的兩個不同視角在特征空間中的影像特征。

3.根據權利要求2所述的方法，其特征在于，所述將所述影像報告輸入文本編碼器進行編碼，確定文本特征，包括：

構建基于Transformer的文本編碼器，根據BERT模型的參數對所述文本編碼器以及文本嵌入矩陣進行初始化；

根據所述文本嵌入矩陣計算所述影像報告的文本嵌入，在所述文本嵌入中添加位置編碼后輸入到所述文本編碼器；

根據所述文本編碼器獲取所述影像報告映射到所述特征空間中的文本特征。

4.根據權利要求3所述的方法，其特征在于，所述將所述影像特征輸入文本解碼器，確定影像描述，包括：

構建基于Transformer的文本解碼器，將所述影像特征輸入所述文本解碼器中；

通過解碼生成與所述影像特征對應的基于自然語言的所述影像描述。

5.根據權利要求4所述的方法，其特征在于，所述確定混合損失函數，包括：

根據所述第一影像特征與所述第二影像特征在所述特征空間的相似性確定單模態對比損失函數；

根據所述文本特征與所述影像特征在所述特征空間的相似性確定多模態對比損失函數；

根據所述影像描述與所述影像報告的準確性確定交叉熵損失函數。

6.根據權利要求5所述的方法，其特征在于，所述根據所述第一影像特征與所述第二影像特征在所述特征空間的相似性確定單模態對比損失函數，包括：

獲得所述第一影像特征與所述第二影像特征構成的二元特征對；

在所述特征空間中，計算所述二元特征對內所述第一影像特征與所述第二影像特征的相似度；

通過最大化配對的所述第一影像特征與所述第二影像特征在所述特征空間中的相似度，與最小化不配對的所述第一影像特征與所述第二影像特征在所述特征空間中的相似度，計算所述單模態對比損失函數。

7.根據權利要求6所述的方法，其特征在于，所述根據所述文本特征與所述影像特征在所述特征空間的相似性確定多模態對比損失函數，包括：

獲得所述文本特征、所述第一影像特征與所述第二影像特征構成的三元特征對；

在所述特征空間中，計算所述三元特征對中所述影像特征與所述文本特征的相似度；

通過最大化配對的所述影像特征與所述文本特征在所述特征空間中的相似度，與最小化不配對的所述影像特征與所述文本特征在所述特征空間中的相似度，計算所述多模態對比損失函數。

8.根據權利要求7所述的方法，其特征在于，所述根據所述影像描述與所述影像報告的準確性確定交叉熵損失函數，包括：

根據所述影像描述與所述影像報告，以字符為單位計算生成報告的交叉熵損失函數。

9.一種生成CT影像表征及影像報告的多模態預訓練裝置，其特征在于，包括：

數據收集模塊，用于獲取多模態數據組合，其中，所述多模態數據組合包括CT影像與影像報告；

第一處理模塊，用于對所述CT影像采取隨機數據增強，并將增強后的數據輸入圖像編碼器進行編碼，確定影像特征，其中，所述影像特征包括第一影像特征與第二影像特征；

第二處理模塊，用于將所述影像報告輸入文本編碼器進行編碼，確定文本特征，且將所述影像特征輸入文本解碼器，確定影像描述；

損失函數計算模塊，用于分別根據所述第一影像特征與所述第二影像特征、所述文本特征與所述影像特征在特征空間的相似性以及所述影像描述與所述影像報告的準確性，確定混合損失函數；

更新模塊，用于基于所述混合損失函數，利用梯度下降算法進行模型訓練，更新所述圖像編碼器、所述文本編碼器與所述文本解碼器的參數。