[發(fā)明專利]用于生成醫(yī)學(xué)圖像中的異常的描述的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010057678.9
• 申請(qǐng)日: 2020-01-19
• 公開(kāi)（公告）號(hào): CN111696642A
• 公開(kāi)（公告）日: 2020-09-22
• 發(fā)明（設(shè)計(jì)）人: P·D·哈齊希;Y·Y·陳;弗朗辛·陳
• 申請(qǐng)（專利權(quán)）人: 富士施樂(lè)株式會(huì)社
• 主分類號(hào): G16H15/00
• 分類號(hào): G16H15/00;G06N3/08;G06F40/169
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 趙彤;劉久亮

1.一種生成醫(yī)學(xué)圖像中的異常的描述的方法，該方法包括以下步驟：

由經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)從多個(gè)成像記錄中的每一個(gè)中提取圖像特征；

由經(jīng)訓(xùn)練的所述神經(jīng)網(wǎng)絡(luò)基于所提取的圖像特征來(lái)生成與所述多個(gè)成像記錄中的每一個(gè)相關(guān)聯(lián)的書面報(bào)告，其中經(jīng)訓(xùn)練的所述神經(jīng)網(wǎng)絡(luò)基于句子注釋模型來(lái)生成所述書面報(bào)告，所述句子注釋模型基于獨(dú)立句子來(lái)提供異常注釋；

由經(jīng)訓(xùn)練的所述神經(jīng)網(wǎng)絡(luò)確定與每個(gè)書面報(bào)告相關(guān)聯(lián)的異常分?jǐn)?shù)；以及

基于與每個(gè)書面報(bào)告相關(guān)聯(lián)的異常分?jǐn)?shù)，以排序后的順序?qū)⑺鰰鎴?bào)告提供給主治醫(yī)師。

2.根據(jù)權(quán)利要求1所述的方法，其中，通過(guò)使用具有相關(guān)聯(lián)的文字報(bào)告的多個(gè)患者成像記錄的訓(xùn)練過(guò)程來(lái)訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)，該訓(xùn)練過(guò)程包括以下步驟：

所述神經(jīng)網(wǎng)絡(luò)基于所述句子注釋模型分析每個(gè)文字報(bào)告，以生成與所述文字報(bào)告中的獨(dú)立句子相關(guān)聯(lián)的逐句異常注釋；

所述神經(jīng)網(wǎng)絡(luò)從所述患者成像記錄中的每一個(gè)中提取圖像特征；以及

所述神經(jīng)網(wǎng)絡(luò)通過(guò)將所提取的圖像特征與具有逐句異常注釋的所述文字報(bào)告相關(guān)聯(lián)來(lái)生成成像報(bào)告生成模型。

3.根據(jù)權(quán)利要求2所述的方法，其中，生成與所述多個(gè)成像記錄中的每一個(gè)相關(guān)聯(lián)的所述書面報(bào)告還包括以下步驟：

基于所述神經(jīng)網(wǎng)絡(luò)所提取的圖像特征來(lái)確定所述書面報(bào)告的多個(gè)主題；

生成與所確定的多個(gè)主題中的每一個(gè)相關(guān)聯(lián)的書面句子；以及

合并所生成的書面句子以生成書面報(bào)告。

4.根據(jù)權(quán)利要求3所述的方法，其中，生成與所確定的多個(gè)主題中的每一個(gè)相關(guān)聯(lián)的所述書面句子包括以下步驟：

基于所述成像報(bào)告生成模型、與所述句子相關(guān)聯(lián)的所確定的主題以及與所確定的主題相關(guān)聯(lián)的所提取的圖像特征來(lái)確定所述句子中的第一個(gè)詞語(yǔ)；以及

基于所述成像報(bào)告生成模型、與所述句子相關(guān)聯(lián)的所確定的主題、與所確定的主題相關(guān)聯(lián)的所提取的圖像特征以及基于所述句子中確定的第一個(gè)詞語(yǔ)和根據(jù)多個(gè)后續(xù)詞語(yǔ)事先確定的詞語(yǔ)中的一者或更多者來(lái)順序地確定所述句子中的所述多個(gè)后續(xù)詞語(yǔ)。

5.根據(jù)權(quán)利要求4所述的方法，其中，生成與所述多個(gè)成像記錄中的每一個(gè)相關(guān)聯(lián)的所述書面報(bào)告中的每個(gè)句子還包括基于與所生成的句子中的每個(gè)詞語(yǔ)相關(guān)聯(lián)的可能性概率來(lái)確定句子置信度分?jǐn)?shù)，并且

生成所述書面報(bào)告還包括基于所確定的與所述書面報(bào)告中的每個(gè)句子相關(guān)聯(lián)的句子置信度分?jǐn)?shù)來(lái)生成書面報(bào)告置信度分?jǐn)?shù)。

6.根據(jù)權(quán)利要求2所述的方法，其中，所述句子注釋模型通過(guò)以下步驟自動(dòng)地注釋異常句子：

收集指示正常成像特征的多個(gè)書面報(bào)告；

從指示正常成像特征的所述多個(gè)書面報(bào)告中提取正常句子模式；

將待注釋的書面報(bào)告中的每個(gè)句子與所提取的正常句子模式進(jìn)行比較；以及

將所述書面報(bào)告中與所提取的正常句子模式相比較指示低于閾值的相似度的每個(gè)句子注釋為異常。

7.根據(jù)權(quán)利要求2所述的方法，其中，所述句子注釋模型通過(guò)以下步驟自動(dòng)地注釋異常句子：

對(duì)于待注釋的書面報(bào)告中的每個(gè)句子，確定多個(gè)預(yù)定義醫(yī)學(xué)主題術(shù)語(yǔ)中的一個(gè)與所述句子之間的語(yǔ)義相似度；以及

將所述書面報(bào)告中被確定為在語(yǔ)義上與所述多個(gè)預(yù)定義醫(yī)學(xué)主題術(shù)語(yǔ)中的一個(gè)或更多個(gè)相似的任何句子注釋為異常。

8.根據(jù)權(quán)利要求2所述的方法，其中，所述句子注釋模型通過(guò)以下步驟自動(dòng)地注釋異常句子：

使用多個(gè)訓(xùn)練句子來(lái)訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)以在文字特征和指示異常句子的標(biāo)記數(shù)據(jù)之間建立關(guān)聯(lián)，所述多個(gè)訓(xùn)練句子中的每一個(gè)事先被標(biāo)記為正常或異常；以及

使用經(jīng)訓(xùn)練的所述神經(jīng)網(wǎng)絡(luò)來(lái)確定主題句子正常還是異常。