[發明專利]利用自然語言模型自動生成結構化報告的方法及相關設備

在審

• 申請號: 202211078506.5
• 申請日: 2022-09-05
• 公開（公告）號: CN115631825A
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 陳杰;田永鴻;高文;王中岐;王林
• 申請（專利權）人: 鵬城實驗室
• 主分類號: G16H15/00
• 分類號: G16H15/00;G06T7/00
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 陳專

1.一種利用自然語言模型自動生成結構化報告的方法，其特征在于，所述利用自然語言模型自動生成結構化報告的方法包括：

獲取輸入的樣本圖像，基于圖像診斷網絡根據所述樣本圖像生成隱藏狀態序列和分類標識序列，并根據所述隱藏狀態序列和所述分類標識序列得到結構是否異常的預測結果；

若所述預測結果為無結構異常，獲取所述樣本圖像中的無異常樣本圖像，基于完整報告生成網絡根據所述無異常樣本圖像生成無異常圖像的醫學圖像報告；

若所述預測結果為存在結構異常，獲取所述樣本圖像中的有異常樣本圖像，基于任務感知報告生成網絡根據所述有異常樣本圖像生成有異常圖像的醫學圖像報告。

2.根據權利要求1所述的利用自然語言模型自動生成結構化報告的方法，其特征在于，所述獲取輸入的樣本圖像，基于圖像診斷網絡根據所述樣本圖像生成隱藏狀態序列和分類標識序列，并根據所述隱藏狀態序列和所述分類標識序列得到結構是否異常的預測結果，之前還包括：

預先訓練所述完整報告生成網絡和所述任務感知報告生成網絡。

3.根據權利要求2所述的利用自然語言模型自動生成結構化報告的方法，其特征在于，所述預先訓練所述完整報告生成網絡和所述任務感知報告生成網絡，具體包括：

先利用無異常樣本集合對所述完整報告生成網絡進行訓練；

當所述完整報告生成網絡訓練完成后，再利用有異常樣本集合對所述任務感知報告生成網絡進行訓練。

4.根據權利要求1所述的利用自然語言模型自動生成結構化報告的方法，其特征在于，所述利用自然語言模型自動生成結構化報告的方法還包括：

所述圖像診斷網絡計算所述樣本圖像中各個結構的異常概率；

判斷每個結構的異常概率是否低于預設閾值；

當所有結構的異常概率低于所述預設閾值時，則認為所述樣本圖像為無異常樣本圖像；

當存在一個或者多個結構的異常概率不低于所述預設閾值時，則認為所述樣本圖像為有異常樣本圖像。

5.根據權利要求3所述的利用自然語言模型自動生成結構化報告的方法，其特征在于，所述利用自然語言模型自動生成結構化報告的方法還包括：

在訓練所述完整報告生成網絡和所述任務感知報告生成網絡時，引入自動平衡掩碼損失函數；

平衡不同結構中參與訓練的異常樣本和正常樣本的數量，在訓練時對第i個區域正常樣本以一定概率值p_i進行丟棄，概率值p_i為：

其中，和分別代表第i個區域的異常樣本和正常樣本的數量，α是設定的超參，用于調節實際參與訓練的正常樣本和異常樣本之間的比例；

所述自動平衡掩碼損失函數的計算過程如下：

其中，表示自動平衡掩碼損失函數，表示基線模型的損失函數，δ(r_i)的作用是保留所有的異常樣本，Rand(p_i)表示對概率值p_i使用Rand函數；

如果樣本是異常樣本，則對應的損失直接計入總損失；

如果樣本是正常樣本，則以概率值p_i進行丟棄。

6.根據權利要求1所述的利用自然語言模型自動生成結構化報告的方法，其特征在于，所述圖像診斷網絡包括圖像特征提取器和Transformer編碼器。

7.根據權利要求6所述的利用自然語言模型自動生成結構化報告的方法，其特征在于，所述任務感知報告生成網絡包括Transformer解碼器。

8.根據權利要求7所述的利用自然語言模型自動生成結構化報告的方法，其特征在于，在Transformer解碼器中新增設置多頭自適應注意力模塊。