[發明專利]基于記憶強化Transformer的胸腔X光診斷報告生成方法

在審

• 申請號: 202310207651.7
• 申請日: 2023-03-03
• 公開（公告）號: CN116230154A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 李放;欒金鋒;王曉玲
• 申請（專利權）人: 華東師范大學
• 主分類號: G16H15/00
• 分類號: G16H15/00;G16H30/20;G06F40/216;G06N3/048;G06N3/08
• 代理公司: 成都行之智信知識產權代理有限公司 51256
• 代理人: 溫利平

本發明公開了一種基于記憶強化Transformer的胸腔X光診斷報告生成方法，根據實際需要收集若干胸腔X光圖像及對應的診斷報告，基于診斷報告構建詞表，得到每個診斷報告中詞表包含單詞的單詞概率矩陣和詞向量矩陣，連同胸腔X光圖像構成一個訓練樣本，從而得到訓練樣本集；構建基于Transformer和記憶模塊的診斷報告單詞預測模型；采用訓練樣本對診斷報告單詞預測模型進行訓練，將待生成診斷報告胸腔X光圖像輸入訓練好的診斷報告單詞預測模型，得到單詞概率矩陣，最后采用文本序列生成算法生成最終的診斷報告文本。本發明在Transformer模型中引入記憶模塊，實現在僅有胸腔X光圖像的情況下自動生成對應的診斷報告，同時提高診斷報告文本生成的質量。

技術領域

本發明屬于計算機視覺技術領域，更為具體地講，涉及一種基于記憶強化Transformer的胸腔X光診斷報告生成方法。

背景技術

隨著深度學習算法的不斷發展，人工智能的相關技術在各行各業已經得到了充分的應用，在醫療診斷領域也存在一些落地應用。醫學圖像在醫學臨床實踐中被經常用來診斷和治療。根據患者的醫療圖像撰寫對應的報告是一件非常耗時且繁瑣的事情，同時對于一些經驗尚淺的醫生可能撰寫出錯誤的診斷報告。在中國，優質的醫療資源相對來說較為稀缺，有大量患者的醫療圖像需要對應的報告，相對于患者的數量，醫生的數量較為缺乏，所以利用人工智能技術輔助醫生生成診斷報告是非常有必要的。目前人工智能技術無法在臨床實踐上完全代替醫生，但是可以幫助醫生更好地完成工作，減輕醫生的負擔，特別是對于經驗尚淺的醫生，能夠幫助他們完成診斷報告的撰寫，減少遺漏等現象。使用人工智能來生成報告是一種有效的方法。但仍有兩個主要挑戰：首先，隨著病人數量的增加，需要定期對模型進行微調，這浪費了大量的時間；第二，由于醫學報告較為復雜，現有人工智能技術所生成文本的質量還需要改進。

此外，如何能夠快速對于模型進行迭代，是該領域中的一項重要內容。由于文本生成模型通常采用較大的模型，導致模型在新數據到來時，更新模型參數需要付出大量的成本。同時與自然圖像的解釋不同，醫學診斷報告的文本更長，需要更加精確的描述，能夠全面準確地描述圖像中的異常區域，這也是該領域的另一項重要內容。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于記憶強化Transformer的胸腔X光診斷報告生成方法，在Transformer模型中引入記憶模塊，實現在僅有胸腔X光圖像的情況下自動生成對應的診斷報告，同時提高診斷報告文本生成的質量。

為了實現上述發明目的，本發明基于記憶強化Transformer的胸腔X光診斷報告生成方法包括以下步驟：

S1：根據實際需要收集若干胸腔X光圖像，同時獲取每張胸腔X光圖像對應的診斷報告；

統計在所有診斷報告中出現的單詞，將這些單詞組成詞表，記詞表中單詞數量為K；根據實際需要設置診斷報告長度T，為每份診斷報告生成大小為D×K的單詞概率矩陣P，當診斷報告中第t個位置為詞表中第k個單詞時，令單詞概率矩陣P中第t行第k列元素p_t,k＝1，否則p_t,k＝0，t＝1,2,…,T，k＝1,2,…,K；

為詞表中的每個單詞隨機生成初始詞向量c_k，記詞向量的維度為L，然后為每份診斷報告生成大小為T×L的詞向量矩陣C，詞向量矩陣C中第t行行向量即為診斷報告中第t個位置單詞的詞向量；

將每張胸腔X光圖像和對應的診斷報告的詞向量矩陣、單詞概率矩陣作為一個訓練樣本，從而得到訓練樣本集；

S2：構建診斷報告單詞預測模型，包括視覺特征編碼器，Transformer編碼器，記憶強化解碼器，全連接層和Softmax層，其中：

視覺特征編碼器用于對胸腔X光圖像進行視覺特征編碼，得到視覺特征X＝{x₁,x₂,…,x_N}并輸出至Transformer編碼器，其中N表示視覺特征的數量；