[發(fā)明專利]基于記憶強化Transformer的胸腔X光診斷報告生成方法

在審

• 申請?zhí)枺?/td>: 202310207651.7
• 申請日: 2023-03-03
• 公開（公告）號: CN116230154A
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計）人: 李放;欒金鋒;王曉玲
• 申請（專利權(quán)）人: 華東師范大學(xué)
• 主分類號: G16H15/00
• 分類號: G16H15/00;G16H30/20;G06F40/216;G06N3/048;G06N3/08
• 代理公司: 成都行之智信知識產(chǎn)權(quán)代理有限公司 51256
• 代理人: 溫利平

1.一種基于記憶強化Transformer的胸腔X光診斷報告生成方法，其特征在于，包括以下步驟：

S1：根據(jù)實際需要收集若干胸腔X光圖像，同時獲取每張胸腔X光圖像對應(yīng)的診斷報告；

統(tǒng)計在所有診斷報告中出現(xiàn)的單詞，將這些單詞組成詞表，記詞表中單詞數(shù)量為K；根據(jù)實際需要設(shè)置診斷報告長度T，為每份診斷報告生成大小為D×K的單詞概率矩陣P，當(dāng)診斷報告中第t個位置為詞表中第k個單詞時，令單詞概率矩陣P中第t行第k列元素p_t,k＝1，否則p_t,k＝0，t＝1,2,…,T，k＝1,2,…,K；

為詞表中的每個單詞隨機生成初始詞向量c_k，記詞向量的維度為L，然后為每份診斷報告生成大小為T×L的詞向量矩陣C，詞向量矩陣C中第t行行向量即為診斷報告中第t個位置單詞的詞向量；

將每張胸腔X光圖像和對應(yīng)的診斷報告的詞向量矩陣、單詞概率矩陣作為一個訓(xùn)練樣本，從而得到訓(xùn)練樣本集；

S2：構(gòu)建診斷報告單詞預(yù)測模型，包括視覺特征編碼器，Transformer編碼器，記憶強化解碼器，全連接層和Softmax層，其中：

視覺特征編碼器用于對胸腔X光圖像進行視覺特征編碼，得到視覺特征X＝{x₁,x₂,…,x_N}并輸出至Transformer編碼器，其中N表示視覺特征的數(shù)量；

Transformer編碼器用于根據(jù)接收的視覺特征X＝{x₁,x₂,…,x_N}提取隱藏狀態(tài)，得到每個視覺特征x_i的隱向量h_i并輸出至記憶強化解碼器；

記憶強化解碼器用于對N個隱向量h_i進行解碼，得到解碼后的特征并發(fā)送給全連接層；記憶強化解碼器包括輸出嵌入層，L組網(wǎng)絡(luò)塊和記憶模塊，其中：

輸出嵌入層用于對訓(xùn)練樣本中的詞向量矩陣C進行嵌入處理，得到大小為T×L的嵌入詞向量矩陣Y，記第t個單詞的嵌入詞向量為y_t，將嵌入詞向量矩陣Y輸出至記憶模塊、遮蔽多頭注意力層和第1組網(wǎng)絡(luò)塊的第一特征融合模塊；

記憶模塊用于根據(jù)嵌入詞向量矩陣Y生成記憶矩陣M，輸出至每組網(wǎng)絡(luò)塊中的第一MCLN模塊、第二MLCN模塊和第三MLCN模塊；其中，記憶矩陣M采用迭代更新的方式生成，具體方法為：

1)令單詞序號t＝1，初始化大小為D×L的初始記憶矩陣M₀，初始化單詞的嵌入詞向量y₀，其中D表示記憶模塊中記憶槽的大小，D＜T；

2)采用如下計算公式得到第t個單詞的記憶矩陣M_t：

M_t＝(1-Z_t)⊙C_t+Z_t⊙M_t-1

其中：

C_t＝tanh(W_mcM_t-1+W_scS_t+b_c)

Z_t＝sigmoid(W_mzM_t-1+W_szS_t+b_z)

S_t＝MultiHeadAtt(M_t-1,[M_t-1；y_t-1],[M_t-1；y_t-1])

⊙代表阿達瑪乘積，W_mc，W_sc，W_mz，W_sz表示可學(xué)習(xí)的權(quán)重，b_c，b_z表示可學(xué)習(xí)的偏差項；C_t表示內(nèi)部狀態(tài)，Z_t是更新門；tanh()、sigmoid()為激活函數(shù)；

MultiHeadAtt()表示多頭注意力機制，該多頭注意力機制中將記憶矩陣M_t-1作為多頭注意力的查詢，然后將上一個單詞的M_t-1與上一個單詞的嵌入詞向量y_t-1連接得到[M_t-1；y_t-1]，作為多頭注意力的鍵和值；

3)判斷是否t＜T，如果是，令t＝t+1，返回步驟2)，否則進入步驟4)；

4)將每個記憶矩陣M_t按照行優(yōu)先轉(zhuǎn)換為長度為D×L的記憶向量m_t，然后將T個記憶向量m_t作為行向量構(gòu)成大小為T×(D×L)的記憶矩陣M；

每組網(wǎng)絡(luò)塊分別包括遮蔽多頭注意力模塊、第一特征融合模塊、第一MCLN模塊、多頭注意力模塊、第二特征融合模塊、第二MLCN模塊、前向反饋模塊、第三特征融合模塊和第三MLCN模塊，其中：

遮蔽多頭注意力模塊用于基于遮蔽多頭注意力機制對所接收的特征矩陣f_A,In進行處理，得到大小為T×L特征矩陣f_A,1，其中第1個網(wǎng)絡(luò)塊中的遮蔽多頭注意力模塊接收的特征矩陣為輸出嵌入層輸出的嵌入詞向量矩陣Y，第2個至第L個網(wǎng)絡(luò)塊中的遮蔽多頭注意力模塊接收的特征矩陣為上一個網(wǎng)絡(luò)塊中第三MLCN模塊輸出的特征矩陣；

第一特征融合模塊用于對遮蔽多頭注意力模塊接收的特征矩陣f_A,In和輸出的特征矩陣f_A,1進行相加，得到大小為T×L的融合特征矩陣f₁輸出至第一MCLN模塊；

第一MCLN模塊，用于根據(jù)記憶矩陣M對融合特征矩陣f₁進行處理，得到大小為T×L的特征矩陣f_m,1輸出至多頭注意力模塊和第二特征融合模塊；MCLN模塊的處理過程如下：

記MCLN模塊接收到的融合特征矩陣為In，采用如下方法得到特征矩陣f_m,1中第t行行向量f_m,1[t]：

初始化可學(xué)習(xí)參數(shù)γ和β，然后對參數(shù)γ進行更新，更新公式如下所示：

Δγ_t＝f_mlp(m_t)

對參數(shù)β進行更新，更新公式如下所示：

Δβ_t＝f_mlp(m_t)

其中，f_mlp()表示多層感知器；

第t行行向量f_m,1[t]計算公式如下所示：

其中，In_t是所輸入的融合特征矩陣In的第t行行向量，μ和v表示融合特征矩陣In中行向量的均值和標(biāo)準差；

多頭注意力模塊用于接收N個隱向量h_i和特征矩陣f_m,1，將隱向量h_i作為多頭注意力的查詢和鍵，將特征矩陣f_m,1作為多頭注意力的值，基于多頭注意力機制處理得到大小為T×L的特征矩陣f_A,2并發(fā)送給第二特征融合模塊；

第二特征融合模塊用于對特征矩陣f_m,1和特征矩陣f_A,2進行相加，得到大小為T×L的融合特征矩陣f₂輸出至第二MCLN模塊；

第二MLCN模塊用于對用于根據(jù)記憶矩陣M對融合特征矩陣f₂進行處理，得到大小為T×L的特征矩陣f_m,2輸出至前向反饋模塊和第三特征融合模塊；

前向反饋模塊用于對特征特征矩陣f_m,2進行線性變化處理，得到大小為T×L的特征矩陣f₃輸出至第三特征融合模塊；

第三特征融合模塊將特征矩陣f_m,2和特征矩陣f₃進行相加，得到大小為T×L的融合特征矩陣f₄輸出至第三MLCN模塊；

第三MLCN模塊用于對用于根據(jù)記憶矩陣M對融合特征矩陣f₄進行處理，得到大小為T×L的特征矩陣f_m,3進行輸出，第1至第L-1個網(wǎng)絡(luò)塊中的第三MLCN模塊將特征矩陣f_m,3輸出至下一個網(wǎng)絡(luò)塊，第L個網(wǎng)絡(luò)塊中的第三MLCN模塊將特征矩陣f_m,3輸出至全連接層；

全連接層用于對接收的特征矩陣進行線性變化，將得到的特征輸出至Softmax層；

Softmax層用于根據(jù)得到的特征，預(yù)測得到詞表中每個單詞在診斷報告中各個位置出現(xiàn)的概率，得到單詞概率矩陣；

S3：將步驟S1中訓(xùn)練樣本集中每張胸腔X光圖像作為輸入，對應(yīng)的單詞概率矩陣作為期望輸出，對診斷報告單詞預(yù)測模型進行訓(xùn)練，得到訓(xùn)練好的診斷報告單詞預(yù)測模型；

S4：對于待生成診斷報告的胸腔X光圖像，將該胸腔X光圖像輸入步驟S3中訓(xùn)練好的診斷報告單詞預(yù)測模型，得到該胸腔X光圖像對應(yīng)的單詞概率矩陣；

S5：根據(jù)步驟S4生成的單詞概率向量，采用文本序列生成算法生成最終的診斷報告文本。