[發(fā)明專利]基于記憶強(qiáng)化Transformer的胸腔X光診斷報(bào)告生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310207651.7
• 申請(qǐng)日: 2023-03-03
• 公開(kāi)（公告）號(hào): CN116230154A
• 公開(kāi)（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 李放;欒金鋒;王曉玲
• 申請(qǐng)（專利權(quán)）人: 華東師范大學(xué)
• 主分類號(hào): G16H15/00
• 分類號(hào): G16H15/00;G16H30/20;G06F40/216;G06N3/048;G06N3/08
• 代理公司: 成都行之智信知識(shí)產(chǎn)權(quán)代理有限公司 51256
• 代理人: 溫利平

1.一種基于記憶強(qiáng)化Transformer的胸腔X光診斷報(bào)告生成方法，其特征在于，包括以下步驟：

S1：根據(jù)實(shí)際需要收集若干胸腔X光圖像，同時(shí)獲取每張胸腔X光圖像對(duì)應(yīng)的診斷報(bào)告；

統(tǒng)計(jì)在所有診斷報(bào)告中出現(xiàn)的單詞，將這些單詞組成詞表，記詞表中單詞數(shù)量為K；根據(jù)實(shí)際需要設(shè)置診斷報(bào)告長(zhǎng)度T，為每份診斷報(bào)告生成大小為D×K的單詞概率矩陣P，當(dāng)診斷報(bào)告中第t個(gè)位置為詞表中第k個(gè)單詞時(shí)，令單詞概率矩陣P中第t行第k列元素p_t,k＝1，否則p_t,k＝0，t＝1,2,…,T，k＝1,2,…,K；

為詞表中的每個(gè)單詞隨機(jī)生成初始詞向量c_k，記詞向量的維度為L(zhǎng)，然后為每份診斷報(bào)告生成大小為T×L的詞向量矩陣C，詞向量矩陣C中第t行行向量即為診斷報(bào)告中第t個(gè)位置單詞的詞向量；

將每張胸腔X光圖像和對(duì)應(yīng)的診斷報(bào)告的詞向量矩陣、單詞概率矩陣作為一個(gè)訓(xùn)練樣本，從而得到訓(xùn)練樣本集；

S2：構(gòu)建診斷報(bào)告單詞預(yù)測(cè)模型，包括視覺(jué)特征編碼器，Transformer編碼器，記憶強(qiáng)化解碼器，全連接層和Softmax層，其中：

視覺(jué)特征編碼器用于對(duì)胸腔X光圖像進(jìn)行視覺(jué)特征編碼，得到視覺(jué)特征X＝{x₁,x₂,…,x_N}并輸出至Transformer編碼器，其中N表示視覺(jué)特征的數(shù)量；

Transformer編碼器用于根據(jù)接收的視覺(jué)特征X＝{x₁,x₂,…,x_N}提取隱藏狀態(tài)，得到每個(gè)視覺(jué)特征x_i的隱向量h_i并輸出至記憶強(qiáng)化解碼器；

記憶強(qiáng)化解碼器用于對(duì)N個(gè)隱向量h_i進(jìn)行解碼，得到解碼后的特征并發(fā)送給全連接層；記憶強(qiáng)化解碼器包括輸出嵌入層，L組網(wǎng)絡(luò)塊和記憶模塊，其中：

輸出嵌入層用于對(duì)訓(xùn)練樣本中的詞向量矩陣C進(jìn)行嵌入處理，得到大小為T×L的嵌入詞向量矩陣Y，記第t個(gè)單詞的嵌入詞向量為y_t，將嵌入詞向量矩陣Y輸出至記憶模塊、遮蔽多頭注意力層和第1組網(wǎng)絡(luò)塊的第一特征融合模塊；

記憶模塊用于根據(jù)嵌入詞向量矩陣Y生成記憶矩陣M，輸出至每組網(wǎng)絡(luò)塊中的第一MCLN模塊、第二MLCN模塊和第三MLCN模塊；其中，記憶矩陣M采用迭代更新的方式生成，具體方法為：

1)令單詞序號(hào)t＝1，初始化大小為D×L的初始記憶矩陣M₀，初始化單詞的嵌入詞向量y₀，其中D表示記憶模塊中記憶槽的大小，D＜T；

2)采用如下計(jì)算公式得到第t個(gè)單詞的記憶矩陣M_t：

M_t＝(1-Z_t)⊙C_t+Z_t⊙M_t-1

其中：

C_t＝tanh(W_mcM_t-1+W_scS_t+b_c)

Z_t＝sigmoid(W_mzM_t-1+W_szS_t+b_z)

S_t＝MultiHeadAtt(M_t-1,[M_t-1；y_t-1],[M_t-1；y_t-1])

⊙代表阿達(dá)瑪乘積，W_mc，W_sc，W_mz，W_sz表示可學(xué)習(xí)的權(quán)重，b_c，b_z表示可學(xué)習(xí)的偏差項(xiàng)；C_t表示內(nèi)部狀態(tài)，Z_t是更新門；tanh()、sigmoid()為激活函數(shù)；

MultiHeadAtt()表示多頭注意力機(jī)制，該多頭注意力機(jī)制中將記憶矩陣M_t-1作為多頭注意力的查詢，然后將上一個(gè)單詞的M_t-1與上一個(gè)單詞的嵌入詞向量y_t-1連接得到[M_t-1；y_t-1]，作為多頭注意力的鍵和值；

3)判斷是否t＜T，如果是，令t＝t+1，返回步驟2)，否則進(jìn)入步驟4)；

4)將每個(gè)記憶矩陣M_t按照行優(yōu)先轉(zhuǎn)換為長(zhǎng)度為D×L的記憶向量m_t，然后將T個(gè)記憶向量m_t作為行向量構(gòu)成大小為T×(D×L)的記憶矩陣M；

每組網(wǎng)絡(luò)塊分別包括遮蔽多頭注意力模塊、第一特征融合模塊、第一MCLN模塊、多頭注意力模塊、第二特征融合模塊、第二MLCN模塊、前向反饋模塊、第三特征融合模塊和第三MLCN模塊，其中：

遮蔽多頭注意力模塊用于基于遮蔽多頭注意力機(jī)制對(duì)所接收的特征矩陣f_A,In進(jìn)行處理，得到大小為T×L特征矩陣f_A,1，其中第1個(gè)網(wǎng)絡(luò)塊中的遮蔽多頭注意力模塊接收的特征矩陣為輸出嵌入層輸出的嵌入詞向量矩陣Y，第2個(gè)至第L個(gè)網(wǎng)絡(luò)塊中的遮蔽多頭注意力模塊接收的特征矩陣為上一個(gè)網(wǎng)絡(luò)塊中第三MLCN模塊輸出的特征矩陣；

第一特征融合模塊用于對(duì)遮蔽多頭注意力模塊接收的特征矩陣f_A,In和輸出的特征矩陣f_A,1進(jìn)行相加，得到大小為T×L的融合特征矩陣f₁輸出至第一MCLN模塊；

第一MCLN模塊，用于根據(jù)記憶矩陣M對(duì)融合特征矩陣f₁進(jìn)行處理，得到大小為T×L的特征矩陣f_m,1輸出至多頭注意力模塊和第二特征融合模塊；MCLN模塊的處理過(guò)程如下：

記MCLN模塊接收到的融合特征矩陣為In，采用如下方法得到特征矩陣f_m,1中第t行行向量f_m,1[t]：

初始化可學(xué)習(xí)參數(shù)γ和β，然后對(duì)參數(shù)γ進(jìn)行更新，更新公式如下所示：

Δγ_t＝f_mlp(m_t)

對(duì)參數(shù)β進(jìn)行更新，更新公式如下所示：

Δβ_t＝f_mlp(m_t)

其中，f_mlp()表示多層感知器；

第t行行向量f_m,1[t]計(jì)算公式如下所示：

其中，In_t是所輸入的融合特征矩陣In的第t行行向量，μ和v表示融合特征矩陣In中行向量的均值和標(biāo)準(zhǔn)差；

多頭注意力模塊用于接收N個(gè)隱向量h_i和特征矩陣f_m,1，將隱向量h_i作為多頭注意力的查詢和鍵，將特征矩陣f_m,1作為多頭注意力的值，基于多頭注意力機(jī)制處理得到大小為T×L的特征矩陣f_A,2并發(fā)送給第二特征融合模塊；

第二特征融合模塊用于對(duì)特征矩陣f_m,1和特征矩陣f_A,2進(jìn)行相加，得到大小為T×L的融合特征矩陣f₂輸出至第二MCLN模塊；

第二MLCN模塊用于對(duì)用于根據(jù)記憶矩陣M對(duì)融合特征矩陣f₂進(jìn)行處理，得到大小為T×L的特征矩陣f_m,2輸出至前向反饋模塊和第三特征融合模塊；

前向反饋模塊用于對(duì)特征特征矩陣f_m,2進(jìn)行線性變化處理，得到大小為T×L的特征矩陣f₃輸出至第三特征融合模塊；

第三特征融合模塊將特征矩陣f_m,2和特征矩陣f₃進(jìn)行相加，得到大小為T×L的融合特征矩陣f₄輸出至第三MLCN模塊；

第三MLCN模塊用于對(duì)用于根據(jù)記憶矩陣M對(duì)融合特征矩陣f₄進(jìn)行處理，得到大小為T×L的特征矩陣f_m,3進(jìn)行輸出，第1至第L-1個(gè)網(wǎng)絡(luò)塊中的第三MLCN模塊將特征矩陣f_m,3輸出至下一個(gè)網(wǎng)絡(luò)塊，第L個(gè)網(wǎng)絡(luò)塊中的第三MLCN模塊將特征矩陣f_m,3輸出至全連接層；

全連接層用于對(duì)接收的特征矩陣進(jìn)行線性變化，將得到的特征輸出至Softmax層；

Softmax層用于根據(jù)得到的特征，預(yù)測(cè)得到詞表中每個(gè)單詞在診斷報(bào)告中各個(gè)位置出現(xiàn)的概率，得到單詞概率矩陣；

S3：將步驟S1中訓(xùn)練樣本集中每張胸腔X光圖像作為輸入，對(duì)應(yīng)的單詞概率矩陣作為期望輸出，對(duì)診斷報(bào)告單詞預(yù)測(cè)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的診斷報(bào)告單詞預(yù)測(cè)模型；

S4：對(duì)于待生成診斷報(bào)告的胸腔X光圖像，將該胸腔X光圖像輸入步驟S3中訓(xùn)練好的診斷報(bào)告單詞預(yù)測(cè)模型，得到該胸腔X光圖像對(duì)應(yīng)的單詞概率矩陣；

S5：根據(jù)步驟S4生成的單詞概率向量，采用文本序列生成算法生成最終的診斷報(bào)告文本。