[發明專利]醫學圖像報告生成模型的訓練方法及圖像報告生成方法

有效

• 申請號: 202110320701.3
• 申請日: 2021-03-25
• 公開（公告）號: CN112992308B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 邊成
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G16H15/00
• 分類號: G16H15/00;G16H30/20;G16H30/40;G06N3/0455;G06N3/08;G06N20/00;G06N3/096
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種醫學圖像報告生成模型的訓練方法，其特征在于，所述醫學圖像報告生成模型包括視覺特征提取網絡、編碼網絡和解碼網絡，所述方法包括：

獲取樣本醫學圖像；

通過所述視覺特征提取網絡對所述樣本醫學圖像進行視覺特征提取處理，得到所述樣本醫學圖像的視覺特征序列；

在所述視覺特征序列的基礎上，拼接圖像類別標簽和自學習標簽，得到所述編碼網絡的輸入信息；

通過所述編碼網絡對所述輸入信息進行編碼處理，得到所述視覺特征序列對應的視覺編碼特征向量、所述圖像類別標簽對應的輸出類別結果，以及所述自學習標簽對應的輸出任務結果；

通過所述解碼網絡對所述視覺編碼特征向量進行解碼處理，得到所述樣本醫學圖像對應的輸出圖像報告；

基于所述輸出圖像報告、所述輸出類別結果和所述輸出任務結果，計算所述醫學圖像報告生成模型的總損失函數值，并根據所述總損失函數值對所述醫學圖像報告生成模型的參數進行調整。

2.根據權利要求1所述的方法，其特征在于，所述基于所述輸出圖像報告、所述輸出類別結果和所述輸出任務結果，計算所述醫學圖像報告生成模型的總損失函數值，包括：

基于所述輸出圖像報告和所述樣本醫學圖像對應的目標圖像報告，計算第一損失函數值；

基于所述輸出類別結果和所述樣本醫學圖像對應的目標類別結果，計算第二損失函數值；

基于所述輸出任務結果和所述樣本醫學圖像對應的目標任務結果，計算第三損失函數值；

基于所述第一損失函數值、所述第二損失函數值和所述第三損失函數值，計算所述總損失函數值。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

從所述樣本醫學圖像對應的目標圖像報告中，提取指定字段的信息；

對所述指定字段的信息進行語義識別，得到所述樣本醫學圖像對應的目標類別結果。

4.根據權利要求2所述的方法，其特征在于，所述方法還包括：

將所述樣本醫學圖像旋轉指定角度之后，輸入至所述視覺特征提取網絡；

其中，所述目標任務結果用于指示所述樣本醫學圖像的真實旋轉角度，所述輸出任務結果用于指示所述樣本醫學圖像的預測旋轉角度。

5.根據權利要求2所述的方法，其特征在于，所述輸入信息還包括模型蒸餾標簽，所述模型蒸餾標簽經所述編碼網絡得到學生輸出診斷結果；

所述方法還包括：

基于所述學生輸出診斷結果和所述樣本醫學圖像對應的教師輸出診斷結果，計算第四損失函數值；

基于所述第一損失函數值、所述第二損失函數值、所述第三損失函數值和所述第四損失函數值，計算所述總損失函數值。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

將所述樣本醫學圖像輸入至預訓練完成的教師模型，所述教師模型用于識別所述樣本醫學圖像中的癥狀類別；

通過所述教師模型得到所述樣本醫學圖像對應的教師輸出診斷結果。

7.根據權利要求5所述的方法，其特征在于，所述基于所述第一損失函數值、所述第二損失函數值、所述第三損失函數值和所述第四損失函數值，計算所述總損失函數值，包括：

對所述第一損失函數值、所述第二損失函數值、所述第三損失函數值和所述第四損失函數值進行加權求和，得到所述總損失函數值。

8.根據權利要求1所述的方法，其特征在于，所述通過所述視覺特征提取網絡對所述樣本醫學圖像進行視覺特征提取處理，得到所述樣本醫學圖像的視覺特征序列，包括：

通過所述視覺特征提取網絡對所述樣本醫學圖像進行視覺特征提取處理，得到所述樣本醫學圖像的視覺特征信息；

將所述視覺特征信息劃分為多個視覺特征單元；

獲取各個所述視覺特征單元的特征向量，得到所述視覺特征序列。