[發明專利]利用自然語言模型自動生成結構化報告的方法及相關設備

在審

• 申請號: 202211078506.5
• 申請日: 2022-09-05
• 公開（公告）號: CN115631825A
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 陳杰;田永鴻;高文;王中岐;王林
• 申請（專利權）人: 鵬城實驗室
• 主分類號: G16H15/00
• 分類號: G16H15/00;G06T7/00
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 陳專

本發明公開了利用自然語言模型自動生成結構化報告的方法及相關設備，所述方法包括：獲取輸入的樣本圖像，圖像診斷網絡根據樣本圖像生成隱藏狀態序列和分類標識序列，并得到結構是否異常的預測結果；若所述預測結果為無結構異常，獲取所述樣本圖像中的無異常樣本圖像，完整報告生成網絡根據所述無異常樣本圖像生成無異常圖像的醫學圖像報告；若所述預測結果為存在結構異常，獲取所述樣本圖像中的有異常樣本圖像，任務感知報告生成網絡根據所述有異常樣本圖像生成有異常圖像的醫學圖像報告。本發明根據樣本圖像是否有異常分別進行醫學圖像報告的生成，通過對不同結構分別生成報告的方式，保證生成報告診斷的準確性，從而大大降低了醫生的工作量。

技術領域

本發明涉及圖像處理信技術領域，尤其涉及一種利用自然語言模型自動生成結構化報告的方法、系統、終端及計算機可讀存儲介質。

背景技術

醫學圖像是反映解剖區域內部結構的圖像，常被用于醫學分析。在此基礎上撰寫的醫學報告，能夠進一步用于輔助疾病診斷或者醫學研究。但由于有經驗的醫生數量的缺少以及就診者數量的增加，一個醫生會面臨大量的影像閱讀和報告書寫工作，勢必會造成工作質量的下降。因此通過計算機技術自動分析圖像并生成診斷報告，實現醫學圖像報告自動生成具有非常重要的意義。

由于醫學圖像報告的書寫只能夠由經驗豐富的醫生進行，因此相較于自然圖像字幕，醫學圖像報告數據通常更難獲取。例如，IU X-Ray數據集中只包含大約四千個樣本，規模較大的MIMIC-CXR數據集包含二十七萬的樣本，但這也遠小于自然圖像字幕數據集三百多萬的標注數量。同時，目前醫學圖像報告數據集中，通常包含了大量的無異常的圖像以及報告樣本，這使得醫學圖像報告數據集均存在較為嚴重的樣本不平衡問題。

在醫學圖像報告數據集中，樣本不平衡問題不僅僅體現在含有大量的無異常樣本上。醫學圖像報告數據集中不同結構中的樣本不平衡程度也是不相同的。例如在胸部X光圖像上，醫生往往會對多個結構以及多種疾病進行相應地描述，而不同類型的疾病有可能同時出現。如果按不同疾病對于樣本進行分類的話，樣本空間成指數級(每一種疾病都有存在和不存在兩種可能)，在這種情況下，包含特定幾種疾病的報告則更加稀少。因此，如果將醫學圖像報告視為一個整體去處理存在的樣本不平衡問題，不僅具有更高的復雜度，同時也容易遺漏樣本不平衡問題更嚴重的結構或者疾病的診斷。

由于數據集存在嚴重的樣本不平衡問題，直接將自然圖像字幕生成的方法應用于數據集進行訓練時，網絡會傾向于輸出數據集中更常見的平凡的報告，這并不能夠滿足醫學報告對癥狀準確描述的要求。

因此，現有技術還有待于改進和發展。

發明內容

本發明的主要目的在于提供一種利用自然語言模型自動生成結構化報告的方法、系統、終端及計算機可讀存儲介質，旨在解決現有技術中由于數據集存在嚴重的樣本不平衡問題，導致生成的醫學圖像報告不準確，無法滿足醫學報告對癥狀準確描述的要求的問題。

為實現上述目的，本發明提供一種利用自然語言模型自動生成結構化報告的方法，所述利用自然語言模型自動生成結構化報告的方法包括如下步驟：

獲取輸入的樣本圖像，基于圖像診斷網絡根據所述樣本圖像生成隱藏狀態序列和分類標識序列，并根據所述隱藏狀態序列和所述分類標識序列得到結構是否異常的預測結果；

若所述預測結果為無結構異常，獲取所述樣本圖像中的無異常樣本圖像，基于完整報告生成網絡根據所述無異常樣本圖像生成無異常圖像的醫學圖像報告；

若所述預測結果為存在結構異常，獲取所述樣本圖像中的有異常樣本圖像，基于任務感知報告生成網絡根據所述有異常樣本圖像生成有異常圖像的醫學圖像報告。

可選地，所述的利用自然語言模型自動生成結構化報告的方法，其中，所述獲取輸入的樣本圖像，基于圖像診斷網絡根據所述樣本圖像生成隱藏狀態序列和分類標識序列，并根據所述隱藏狀態序列和所述分類標識序列得到結構是否異常的預測結果，之前還包括：