日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發(fā)明專利]基于記憶強(qiáng)化Transformer的胸腔X光診斷報(bào)告生成方法在審

專利信息
申請(qǐng)?zhí)枺?/td> 202310207651.7 申請(qǐng)日: 2023-03-03
公開(kāi)(公告)號(hào): CN116230154A 公開(kāi)(公告)日: 2023-06-06
發(fā)明(設(shè)計(jì))人: 李放;欒金鋒;王曉玲 申請(qǐng)(專利權(quán))人: 華東師范大學(xué)
主分類號(hào): G16H15/00 分類號(hào): G16H15/00;G16H30/20;G06F40/216;G06N3/048;G06N3/08
代理公司: 成都行之智信知識(shí)產(chǎn)權(quán)代理有限公司 51256 代理人: 溫利平
地址: 200000 上*** 國(guó)省代碼: 上海;31
權(quán)利要求書(shū): 查看更多 說(shuō)明書(shū): 查看更多
摘要:
搜索關(guān)鍵詞: 基于 記憶 強(qiáng)化 transformer 胸腔 診斷 報(bào)告 生成 方法
【權(quán)利要求書(shū)】:

1.一種基于記憶強(qiáng)化Transformer的胸腔X光診斷報(bào)告生成方法,其特征在于,包括以下步驟:

S1:根據(jù)實(shí)際需要收集若干胸腔X光圖像,同時(shí)獲取每張胸腔X光圖像對(duì)應(yīng)的診斷報(bào)告;

統(tǒng)計(jì)在所有診斷報(bào)告中出現(xiàn)的單詞,將這些單詞組成詞表,記詞表中單詞數(shù)量為K;根據(jù)實(shí)際需要設(shè)置診斷報(bào)告長(zhǎng)度T,為每份診斷報(bào)告生成大小為D×K的單詞概率矩陣P,當(dāng)診斷報(bào)告中第t個(gè)位置為詞表中第k個(gè)單詞時(shí),令單詞概率矩陣P中第t行第k列元素pt,k=1,否則pt,k=0,t=1,2,…,T,k=1,2,…,K;

為詞表中的每個(gè)單詞隨機(jī)生成初始詞向量ck,記詞向量的維度為L(zhǎng),然后為每份診斷報(bào)告生成大小為T×L的詞向量矩陣C,詞向量矩陣C中第t行行向量即為診斷報(bào)告中第t個(gè)位置單詞的詞向量;

將每張胸腔X光圖像和對(duì)應(yīng)的診斷報(bào)告的詞向量矩陣、單詞概率矩陣作為一個(gè)訓(xùn)練樣本,從而得到訓(xùn)練樣本集;

S2:構(gòu)建診斷報(bào)告單詞預(yù)測(cè)模型,包括視覺(jué)特征編碼器,Transformer編碼器,記憶強(qiáng)化解碼器,全連接層和Softmax層,其中:

視覺(jué)特征編碼器用于對(duì)胸腔X光圖像進(jìn)行視覺(jué)特征編碼,得到視覺(jué)特征X={x1,x2,…,xN}并輸出至Transformer編碼器,其中N表示視覺(jué)特征的數(shù)量;

Transformer編碼器用于根據(jù)接收的視覺(jué)特征X={x1,x2,…,xN}提取隱藏狀態(tài),得到每個(gè)視覺(jué)特征xi的隱向量hi并輸出至記憶強(qiáng)化解碼器;

記憶強(qiáng)化解碼器用于對(duì)N個(gè)隱向量hi進(jìn)行解碼,得到解碼后的特征并發(fā)送給全連接層;記憶強(qiáng)化解碼器包括輸出嵌入層,L組網(wǎng)絡(luò)塊和記憶模塊,其中:

輸出嵌入層用于對(duì)訓(xùn)練樣本中的詞向量矩陣C進(jìn)行嵌入處理,得到大小為T×L的嵌入詞向量矩陣Y,記第t個(gè)單詞的嵌入詞向量為yt,將嵌入詞向量矩陣Y輸出至記憶模塊、遮蔽多頭注意力層和第1組網(wǎng)絡(luò)塊的第一特征融合模塊;

記憶模塊用于根據(jù)嵌入詞向量矩陣Y生成記憶矩陣M,輸出至每組網(wǎng)絡(luò)塊中的第一MCLN模塊、第二MLCN模塊和第三MLCN模塊;其中,記憶矩陣M采用迭代更新的方式生成,具體方法為:

1)令單詞序號(hào)t=1,初始化大小為D×L的初始記憶矩陣M0,初始化單詞的嵌入詞向量y0,其中D表示記憶模塊中記憶槽的大小,D<T;

2)采用如下計(jì)算公式得到第t個(gè)單詞的記憶矩陣Mt

Mt=(1-Zt)⊙Ct+Zt⊙Mt-1

其中:

Ct=tanh(WmcMt-1+WscSt+bc)

Zt=sigmoid(WmzMt-1+WszSt+bz)

St=MultiHeadAtt(Mt-1,[Mt-1;yt-1],[Mt-1;yt-1])

⊙代表阿達(dá)瑪乘積,Wmc,Wsc,Wmz,Wsz表示可學(xué)習(xí)的權(quán)重,bc,bz表示可學(xué)習(xí)的偏差項(xiàng);Ct表示內(nèi)部狀態(tài),Zt是更新門;tanh()、sigmoid()為激活函數(shù);

MultiHeadAtt()表示多頭注意力機(jī)制,該多頭注意力機(jī)制中將記憶矩陣Mt-1作為多頭注意力的查詢,然后將上一個(gè)單詞的Mt-1與上一個(gè)單詞的嵌入詞向量yt-1連接得到[Mt-1;yt-1],作為多頭注意力的鍵和值;

3)判斷是否t<T,如果是,令t=t+1,返回步驟2),否則進(jìn)入步驟4);

4)將每個(gè)記憶矩陣Mt按照行優(yōu)先轉(zhuǎn)換為長(zhǎng)度為D×L的記憶向量mt,然后將T個(gè)記憶向量mt作為行向量構(gòu)成大小為T×(D×L)的記憶矩陣M;

每組網(wǎng)絡(luò)塊分別包括遮蔽多頭注意力模塊、第一特征融合模塊、第一MCLN模塊、多頭注意力模塊、第二特征融合模塊、第二MLCN模塊、前向反饋模塊、第三特征融合模塊和第三MLCN模塊,其中:

遮蔽多頭注意力模塊用于基于遮蔽多頭注意力機(jī)制對(duì)所接收的特征矩陣fA,In進(jìn)行處理,得到大小為T×L特征矩陣fA,1,其中第1個(gè)網(wǎng)絡(luò)塊中的遮蔽多頭注意力模塊接收的特征矩陣為輸出嵌入層輸出的嵌入詞向量矩陣Y,第2個(gè)至第L個(gè)網(wǎng)絡(luò)塊中的遮蔽多頭注意力模塊接收的特征矩陣為上一個(gè)網(wǎng)絡(luò)塊中第三MLCN模塊輸出的特征矩陣;

第一特征融合模塊用于對(duì)遮蔽多頭注意力模塊接收的特征矩陣fA,In和輸出的特征矩陣fA,1進(jìn)行相加,得到大小為T×L的融合特征矩陣f1輸出至第一MCLN模塊;

第一MCLN模塊,用于根據(jù)記憶矩陣M對(duì)融合特征矩陣f1進(jìn)行處理,得到大小為T×L的特征矩陣fm,1輸出至多頭注意力模塊和第二特征融合模塊;MCLN模塊的處理過(guò)程如下:

記MCLN模塊接收到的融合特征矩陣為In,采用如下方法得到特征矩陣fm,1中第t行行向量fm,1[t]:

初始化可學(xué)習(xí)參數(shù)γ和β,然后對(duì)參數(shù)γ進(jìn)行更新,更新公式如下所示:

Δγt=fmlp(mt)

對(duì)參數(shù)β進(jìn)行更新,更新公式如下所示:

Δβt=fmlp(mt)

其中,fmlp()表示多層感知器;

第t行行向量fm,1[t]計(jì)算公式如下所示:

其中,Int是所輸入的融合特征矩陣In的第t行行向量,μ和v表示融合特征矩陣In中行向量的均值和標(biāo)準(zhǔn)差;

多頭注意力模塊用于接收N個(gè)隱向量hi和特征矩陣fm,1,將隱向量hi作為多頭注意力的查詢和鍵,將特征矩陣fm,1作為多頭注意力的值,基于多頭注意力機(jī)制處理得到大小為T×L的特征矩陣fA,2并發(fā)送給第二特征融合模塊;

第二特征融合模塊用于對(duì)特征矩陣fm,1和特征矩陣fA,2進(jìn)行相加,得到大小為T×L的融合特征矩陣f2輸出至第二MCLN模塊;

第二MLCN模塊用于對(duì)用于根據(jù)記憶矩陣M對(duì)融合特征矩陣f2進(jìn)行處理,得到大小為T×L的特征矩陣fm,2輸出至前向反饋模塊和第三特征融合模塊;

前向反饋模塊用于對(duì)特征特征矩陣fm,2進(jìn)行線性變化處理,得到大小為T×L的特征矩陣f3輸出至第三特征融合模塊;

第三特征融合模塊將特征矩陣fm,2和特征矩陣f3進(jìn)行相加,得到大小為T×L的融合特征矩陣f4輸出至第三MLCN模塊;

第三MLCN模塊用于對(duì)用于根據(jù)記憶矩陣M對(duì)融合特征矩陣f4進(jìn)行處理,得到大小為T×L的特征矩陣fm,3進(jìn)行輸出,第1至第L-1個(gè)網(wǎng)絡(luò)塊中的第三MLCN模塊將特征矩陣fm,3輸出至下一個(gè)網(wǎng)絡(luò)塊,第L個(gè)網(wǎng)絡(luò)塊中的第三MLCN模塊將特征矩陣fm,3輸出至全連接層;

全連接層用于對(duì)接收的特征矩陣進(jìn)行線性變化,將得到的特征輸出至Softmax層;

Softmax層用于根據(jù)得到的特征,預(yù)測(cè)得到詞表中每個(gè)單詞在診斷報(bào)告中各個(gè)位置出現(xiàn)的概率,得到單詞概率矩陣;

S3:將步驟S1中訓(xùn)練樣本集中每張胸腔X光圖像作為輸入,對(duì)應(yīng)的單詞概率矩陣作為期望輸出,對(duì)診斷報(bào)告單詞預(yù)測(cè)模型進(jìn)行訓(xùn)練,得到訓(xùn)練好的診斷報(bào)告單詞預(yù)測(cè)模型;

S4:對(duì)于待生成診斷報(bào)告的胸腔X光圖像,將該胸腔X光圖像輸入步驟S3中訓(xùn)練好的診斷報(bào)告單詞預(yù)測(cè)模型,得到該胸腔X光圖像對(duì)應(yīng)的單詞概率矩陣;

S5:根據(jù)步驟S4生成的單詞概率向量,采用文本序列生成算法生成最終的診斷報(bào)告文本。

下載完整專利技術(shù)內(nèi)容需要扣除積分,VIP會(huì)員可以免費(fèi)下載。

該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于華東師范大學(xué),未經(jīng)華東師范大學(xué)許可,擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/202310207651.7/1.html,轉(zhuǎn)載請(qǐng)聲明來(lái)源鉆瓜專利網(wǎng)。

同類專利
專利分類
×

專利文獻(xiàn)下載

說(shuō)明:

1、專利原文基于中國(guó)國(guó)家知識(shí)產(chǎn)權(quán)局專利說(shuō)明書(shū);

2、支持發(fā)明專利 、實(shí)用新型專利、外觀設(shè)計(jì)專利(升級(jí)中);

3、專利數(shù)據(jù)每周兩次同步更新,支持Adobe PDF格式;

4、內(nèi)容包括專利技術(shù)的結(jié)構(gòu)示意圖流程工藝圖技術(shù)構(gòu)造圖

5、已全新升級(jí)為極速版,下載速度顯著提升!歡迎使用!

請(qǐng)您登陸后,進(jìn)行下載,點(diǎn)擊【登陸】 【注冊(cè)】

關(guān)于我們 尋求報(bào)道 投稿須知 廣告合作 版權(quán)聲明 網(wǎng)站地圖 友情鏈接 企業(yè)標(biāo)識(shí) 聯(lián)系我們

鉆瓜專利網(wǎng)在線咨詢

周一至周五 9:00-18:00

咨詢?cè)诰€客服咨詢?cè)诰€客服
tel code back_top
主站蜘蛛池模板: 日日狠狠久久8888偷色| 九一国产精品| 精品少妇一区二区三区免费观看焕| 欧美精品二区三区| 国产视频一区二区在线| 午夜天堂电影| 国产精品一区二区麻豆| 国产视频一区二区视频| 亚洲国产精品入口| 国产午夜一级片| 92久久精品| 久久久一二区| 中文字幕欧美一区二区三区| 精品国产鲁一鲁一区二区三区| 激情欧美一区二区三区| 欧美日韩中文字幕三区| 在线国产一区二区三区| 亚洲欧美另类综合| 欧美资源一区| 国产一区二区午夜| 国产天堂一区二区三区| 国产97久久| 国产精品一二三四五区| 亚洲国产精品二区| 国产精品乱码一区二区三区四川人 | 日韩欧美高清一区二区| 国产精品久久久视频| 欧美精品日韩| 欧美精品一区二区久久久| 99精品小视频| 99久久国产免费,99久久国产免费大片| 日韩精品人成在线播放| 国产91在线拍偷自揄拍| 日韩一区免费在线观看| 99视频一区| 91麻豆国产自产在线观看hd| 日韩中文字幕亚洲欧美| 九色国产精品入口| 99爱国产精品| 一区二区三区中文字幕| 欧美三区视频| 91热精品| 91精品福利在线| 国产精品电影一区| 性国产日韩欧美一区二区在线| 色乱码一区二区三在线看| 国产在线一二区| 91精品久久天干天天天按摩| 国产91综合一区在线观看| 欧美一区二区三区三州| 欧美一区二区三区国产精品| 久久久综合亚洲91久久98| 午夜三级大片| 免费欧美一级视频| 欧美一区二区三区免费看| 亚洲五码在线| 特级免费黄色片| 午夜精品在线播放| 91麻豆文化传媒在线观看| 久久精品国语| 手机看片国产一区| 91麻豆精品国产自产欧美一级在线观看| 91精品国模一区二区三区| 欧美黑人巨大久久久精品一区| 日韩精品一区二区中文字幕| 日韩av在线播放网址| 欧美大片一区二区三区| 国产乱xxxxx国语对白| 国产欧美www| 国产精自产拍久久久久久蜜| 久久99精品久久久久国产越南 | 精品久久久久久亚洲综合网| 国产一二区视频| 国产一区二区片| 国产一区二区在线观| 少妇高潮ⅴideosex| 欧美视屏一区| 午夜av电影院| 久久99国产精品久久99果冻传媒新版本 | 国产一区二区在线91| 久久乐国产精品| 国产在线精品一区二区| 香港日本韩国三级少妇在线观看 | 韩日av一区二区三区| 精品国产区一区二| 免费看片一区二区三区| 国产日韩精品一区二区| bbbbb女女女女女bbbbb国产| 自拍偷在线精品自拍偷写真图片| 免费a级毛片18以上观看精品 | 国产伦理久久精品久久久久| 国产午夜亚洲精品| 国产免费一区二区三区网站免费| 日韩av在线导航| 奇米色欧美一区二区三区| 精品国产二区三区| 人人要人人澡人人爽人人dvd| 美日韩一区| 欧美高清性xxxxhdvideos | 国产视频精品久久| 久久婷婷国产香蕉| 一区二区久久久久| 欧美日韩综合一区| 欧美一区二区三区不卡视频| 精品一区在线观看视频| 色婷婷精品久久二区二区蜜臂av| 国产麻豆91欧美一区二区| 性欧美激情日韩精品七区| 91麻豆产精品久久久| 午夜生活理论片| 免费毛片a| 91片在线观看| 亚洲一区欧美| 亚洲1区2区3区4区| 欧美日韩国产123| 久爱精品视频在线播放| 狠狠色噜狠狠狠狠| 午夜影院激情| 黄毛片免费| 午夜剧场伦理| 午夜看片网站| 国产乱了高清露脸对白| 精品国产免费一区二区三区| 在线观看黄色91| 亚洲精品久久久中文| www亚洲精品| 狠狠色噜噜狠狠狠狠米奇7777| 欧美日韩国产一区二区三区在线观看 | 三级电影中文| 精品综合久久久久| 国内精品国产三级国产99| 夜夜嗨av色一区二区不卡| 少妇在线看www| 中文字幕日本一区二区| 亚洲网站久久| 亚洲色欲色欲www| 国产日本一区二区三区| 国产999精品视频| 狠狠躁狠狠躁视频专区| 国产精品日韩一区二区| 公乱妇hd在线播放bd| 精品国产乱码一区二区三区a | 国产欧美一区二区在线观看| 国产一区激情| 国产高清一区二区在线观看| 国产美女三级无套内谢| 日韩av在线导航| 99久久精品免费看国产交换| 国产馆一区二区| 91精品国产高清一二三四区| 国产一区精品在线观看| 激情欧美一区二区三区| 欧美一区二粉嫩精品国产一线天| 亚洲精品老司机| 国产二区不卡| 蜜臀久久99静品久久久久久| 黑人巨大精品欧美黑寡妇| 综合色婷婷一区二区亚洲欧美国产| 亚洲高清久久久| 精品特级毛片| 国产精品一级在线| 久久一级精品视频| 国产伦精品一区二区三区免费下载| 中文字幕一区2区3区| 午夜码电影| 国产伦精品一区二区三区免费下载| xxxxx色| 亚洲**毛茸茸| 久久综合国产精品| 91精品啪在线观看国产| 午夜av电影院| 91看片app| 91精品综合在线观看| 热久久国产| 国产日韩欧美亚洲综合| 欧美网站一区二区三区| 国产日韩欧美一区二区在线播放| 午夜精品一区二区三区三上悠亚| 欧美亚洲另类小说| 国产午夜精品一区二区三区四区 | 午夜大片男女免费观看爽爽爽尤物 | 国产日韩欧美在线一区| 国产韩国精品一区二区三区| 91麻豆精品国产91久久久更新资源速度超快| 亚洲精品久久久久中文第一暮| 国产福利精品一区| 97久久精品人人澡人人爽| 精品国产区一区二| 午夜社区在线观看| 少妇高清精品毛片在线视频| 国产精品久久久久久久四虎电影| 午夜老司机电影| 中文字幕久久精品一区| 国产精品日韩视频| 日本亚洲国产精品| 99精品区| 久久99精品国产| 91精品福利在线| 蜜臀久久99精品久久一区二区| 一区二区三区欧美精品| 日韩精品一区二区免费| 91免费看国产| 男女视频一区二区三区| 国产精品v欧美精品v日韩| 毛片免费看看| 99国产精品一区二区| 国产精品一区久久人人爽| 99精品区| 午夜影院你懂的| 小萝莉av| 免费观看xxxx9999片| 中文字幕欧美日韩一区 | 日韩av在线影视| 精品一区二区三区视频?| 久久久精品免费看| 国产片91| 亚洲国产99| 久久午夜精品福利一区二区| 欧美国产一区二区三区激情无套| 国产视频一区二区视频| 美女直播一区二区三区| 欧美精品在线一区二区| 丰满岳乱妇在线观看中字 | 68精品国产免费久久久久久婷婷| 国产精品一级片在线观看| 免费欧美一级视频| 国产午夜三级一区二区三| 欧美一区二区激情三区| 精品福利一区| 一区二区三区免费高清视频| av狠狠干| 亚洲精品国产精品国自| 一区二区三区国产精华| 中文字幕制服狠久久日韩二区| 一区二区三区欧美日韩| 日本午夜影视| 国产中文字幕91| 在线国产精品一区| 狠狠色噜噜狠狠狠狠米奇777| 国产一区二区在线观| 久久伊人色综合| **毛片在线| 午夜在线看片| 国产伦精品一区二区三区电影 | 精品99在线视频| 日韩精品免费一区|