[發(fā)明專利]一種醫(yī)學(xué)影像文本報(bào)告的生成方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911329296.0
• 申請(qǐng)日: 2019-12-20
• 公開（公告）號(hào): CN111063410A
• 公開（公告）日: 2020-04-24
• 發(fā)明（設(shè)計(jì)）人: 吳瓊;歐歌;張永忠;張海鵬;黃繼景;劉宗民;唐大偉
• 申請(qǐng)（專利權(quán)）人: 京東方科技集團(tuán)股份有限公司
• 主分類號(hào): G16H15/00
• 分類號(hào): G16H15/00;G06K9/62;G06K9/46;G06F40/242;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 姚楠

1.一種醫(yī)學(xué)影像文本報(bào)告的生成方法，其特征在于，包括：

將待識(shí)別的醫(yī)學(xué)影像輸入目標(biāo)識(shí)別模型中的目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)，輸出針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的語義特征向量和圖像特征向量；

將所述語義特征向量和所述圖像特征向量輸入所述目標(biāo)識(shí)別模型中的目標(biāo)循環(huán)神經(jīng)網(wǎng)絡(luò)，輸出針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的文本報(bào)告。

2.如權(quán)利要求1所述的生成方法，其特征在于，所述輸出針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的語義特征向量和圖像特征向量，包括：

輸出針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的語義特征向量和第一診斷標(biāo)簽；

對(duì)所述第一診斷標(biāo)簽進(jìn)行全連接處理，獲得針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的圖像特征向量。

3.如權(quán)利要求2所述的生成方法，其特征在于，所述輸出針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的語義特征向量和第一診斷標(biāo)簽，包括：

確定針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的至少一個(gè)診斷標(biāo)簽；

從所述至少一個(gè)診斷標(biāo)簽中確定出用于表征被測(cè)者患病類別的第一診斷標(biāo)簽；

將所述第一診斷標(biāo)簽輸入目標(biāo)詞嵌入模型，輸出針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的所述語義特征向量。

4.如權(quán)利要求3所述的生成方法，其特征在于，所述對(duì)所述第一診斷標(biāo)簽進(jìn)行全連接處理，獲得針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的圖像特征向量，包括：

確定從所述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)中最靠近輸出層的卷積層輸出的針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的特征圖；

根據(jù)所述第一診斷標(biāo)簽將所述特征圖進(jìn)行權(quán)重加權(quán)，獲得針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的所述圖像特征向量。

5.如權(quán)利要求1所述的生成方法，其特征在于，在將待識(shí)別的醫(yī)學(xué)影像輸入目標(biāo)識(shí)別模型中的目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)之前，所述生成方法還包括：

將預(yù)訓(xùn)練的第一數(shù)據(jù)集輸入待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，其中，所述第一數(shù)據(jù)集包括含有已知診斷標(biāo)簽的多個(gè)醫(yī)學(xué)影像；

將二分類交叉熵作為所述卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)；

將所述損失函數(shù)低于第一預(yù)設(shè)閾值時(shí)所對(duì)應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)，作為所述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)。

6.如權(quán)利要求1所述的生成方法，其特征在于，在將待識(shí)別的醫(yī)學(xué)影像輸入目標(biāo)識(shí)別模型中的目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)之前，所述生成方法還包括：

將預(yù)訓(xùn)練的第二數(shù)據(jù)集輸入待訓(xùn)練的識(shí)別模型，其中，所述第二數(shù)據(jù)集包括含有已知文本報(bào)告的多個(gè)醫(yī)學(xué)影像，所述待訓(xùn)練的識(shí)別模型包括所述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)和待訓(xùn)練的循環(huán)神經(jīng)網(wǎng)絡(luò)；

在所述識(shí)別模型的損失函數(shù)低于第二預(yù)設(shè)閾值時(shí)所對(duì)應(yīng)的識(shí)別模型，作為所述目標(biāo)識(shí)別模型。

7.如權(quán)利要求3所述的生成方法，其特征在于，在將待識(shí)別的醫(yī)學(xué)影像輸入目標(biāo)識(shí)別模型中的目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)之前，所述生成方法還包括：

將預(yù)訓(xùn)練的詞條輸入待訓(xùn)練的詞嵌入模型，獲得識(shí)別結(jié)果，其中，所述預(yù)訓(xùn)練的詞條來自醫(yī)學(xué)文獻(xiàn)檢索服務(wù)系統(tǒng)；

將所述識(shí)別結(jié)果滿足預(yù)設(shè)誤差范圍時(shí)所對(duì)應(yīng)的詞嵌入模型，作為所述目標(biāo)詞嵌入模型。

8.一種醫(yī)學(xué)影像文本報(bào)告的生成裝置，其特征在于，包括：

第一處理單元，用于將待識(shí)別的醫(yī)學(xué)影像輸入目標(biāo)識(shí)別模型中的目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)，輸出針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的語義特征向量和圖像特征向量；

第二處理單元，用于將所述語義特征向量和所述圖像特征向量輸入所述目標(biāo)識(shí)別模型中的目標(biāo)循環(huán)神經(jīng)網(wǎng)絡(luò)，輸出針對(duì)所述待識(shí)別的醫(yī)學(xué)影像的文本報(bào)告。

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的醫(yī)學(xué)影像文本報(bào)告的生成方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的醫(yī)學(xué)影像文本報(bào)告的生成方法的步驟。