[發明專利]一種基于病史與標簽輔助的胸部放射影像報告生成方法

在審

• 申請號: 202211064655.6
• 申請日: 2022-08-31
• 公開（公告）號: CN115472255A
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 劉利軍;袁鈺博;王江峰;黃青松
• 申請（專利權）人: 昆明理工大學
• 主分類號: G16H15/00
• 分類號: G16H15/00;G06V10/80;G06V10/77;G06N3/08;G06N3/04;G06F16/33
• 代理公司: 昆明隆合知識產權代理事務所(普通合伙) 53220
• 代理人: 何嬌

本發明涉及基于病史與標簽輔助的胸部放射影像報告生成方法，包括步驟：采用多視圖多模型影像特征融合模型進行影像視覺特征提取；使用Transformer對患者既往病史進行特征表示；將提取出來的影像視覺特征與既往病史文本特征，通過長短時記憶網絡進行跨模態特征融合，得到基于既往病史信息指導的融合特征；將融合特征傳入Transformer模塊，進行初級報告生成；將初級報告結果，與多視圖多模型影像特征融合模型產生的疾病預測結果，共同傳入一致性校驗模塊進行訓練，通過減小初級報告與預測結果的差別，以生成更準確高效的報告。實驗結果表明，本發明生成的胸部影像報告的描述，在有效性和準確性方面均優于當前主流方法。

技術領域

本發明涉及一種基于病史與標簽輔助的胸部放射影像報告生成方法，屬于計算機視覺、自然語言處理、跨模態融合技術領域。

背景技術

種類繁多的胸部疾病是威脅現代人民身體健康的主要因素之一。胸部放射影像(Digit Radiography，DR)作為體檢的常規檢查項，因其方便、快捷且成本低等眾多優勢成為了胸部常見疾病篩查與診斷的主要方式。傳統的報告一般是由經驗豐富的放射科醫師撰寫，準確有效的報告不僅依賴于醫生豐富的臨床經驗，而且對醫生的業務水平有著極高的要求。由于我國地域遼闊，醫療水平分布不均，偏遠地區難以得到足夠的資源支持。因此，盡管胸部疾病十分常見，但要準確、高效地進行胸部疾病的診斷仍然存在一定難度。

高質量的胸部放射影像報告自動生成系統需求迫切。目前基于深度學習的報告生成方法的實現方法主要分為以下三種方式:(1)檢索式:Christy等人提出了一種基于知識驅動的生成方法，通過結合先驗知識進行報告模板的檢索，同時將視覺特征轉化為結構化的異常圖，之后對于模板進行重寫微調，以生成準確的報告。Tanveer等人提出了一種基于域感知的針對胸部DR影像自動生成報告的算法，該算法從圖像中學習對異常的細粒度描述，進而從大型文本數據庫中檢索類似報告。Yang等人提出了一種混合檢索的生成方法，協調了基于人類先驗知識的傳統檢索方法與基于現代學習的方法來生成結構化、多樣化的報告。(2)模板式:Xingyi Yang等人提出了一種分層模板機制，通過將完整文本與單個句子分層為不同的模板，來生成臨床準確的報告文本。Tanveer等人提出了一種Encoder-Decoder模型，首先提取出影像的視覺特征，之后將得到的影像特征傳入圖像編碼器，通過解碼器對編碼器編碼之后的特征進行編碼得到若干個話題向量，將每個話題向量對應到模板庫以生成完整的報告。Ziqiang Cao等人提出了一種依賴軟模版進行報告生成的方法，通過檢索適當的候選模板進而指導生成更為穩定且多樣化的報告。雖然相較于傳統機器學習算法，檢索式生成方法與模板式生成方法獲取到了更為優異的量化結果，但是，由于往往獲得到的醫學數據集中正樣例居多，而對于正常影像的描述通常使用相同的模板，這也就導致了基于檢索與基于模板的方式會出現較高的準確率，但面對相對罕見且多樣化的異常描述時會存在異常描述不充分的情況。因此，目前學術界主流的方法為基于生成式的報告生成方法。(3)生成式:Yuhao Zhang等人提出了一種定制的神經模型，通過對背景信息的編碼，進而指導報告的生成。Baoyu Jing等人提出了一種協同注意力機制，首先通過對影像特征進行提取從而預測當前影像中可能存在疾病標簽，之后將影像特征與之前生成的標簽特征利用協同注意力融合從而生成完整的報告。Guanxiong Liu等人提出了一種領域感知的報告生成算法，首先預測報告文本中可能出現的主題詞，之后有條件地生成這些主題詞對應的句子，進而生成完整的報告。Mingjie Li等人提出了一種輔助信號引導知識編碼解碼器來模擬醫生的工作模式，通過整合DR影像視覺特征和醫學語言信息來指導醫學知識的遷移和學習。Wang Song等人提出了一種基于信息知識圖的算法，將先驗知識與報告生成相結合，從而提高生成報告的質量。

發明內容