[發(fā)明專利]使用深度卷積網(wǎng)絡(luò)從醫(yī)學(xué)文本中自動提取結(jié)構(gòu)化標(biāo)簽并將其用于訓(xùn)練計算機視覺模型

在審

• 申請?zhí)枺?/td>: 201880089613.3
• 申請日: 2018-02-16
• 公開（公告）號: CN111727478A
• 公開（公告）日: 2020-09-29
• 發(fā)明（設(shè)計）人: S.麥金尼;S.謝蒂;H.莫斯托菲
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: G16H30/40
• 分類號: G16H30/40;G16H15/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 金玉潔

提供了一種用于處理醫(yī)學(xué)文本和相關(guān)聯(lián)的醫(yī)學(xué)圖像的方法。被配置為深度卷積神經(jīng)網(wǎng)絡(luò)的自然語言處理器在精選的自由文本醫(yī)學(xué)報告的第一語料庫上訓(xùn)練，所述醫(yī)學(xué)報告的每一個都具有由醫(yī)學(xué)專家分配的一個或多個結(jié)構(gòu)化標(biāo)簽。訓(xùn)練該網(wǎng)絡(luò)以學(xué)習(xí)閱讀附加自由文本醫(yī)學(xué)報告并生成預(yù)測的結(jié)構(gòu)化標(biāo)簽。自然語言處理器被應(yīng)用于與醫(yī)學(xué)圖像相關(guān)聯(lián)的自由文本醫(yī)學(xué)報告的第二語料庫。自然語言處理器為相關(guān)聯(lián)的醫(yī)學(xué)圖像生成結(jié)構(gòu)化標(biāo)簽。使用醫(yī)學(xué)圖像和生成的結(jié)構(gòu)化標(biāo)簽來訓(xùn)練計算機視覺模型。此后，計算機視覺模型可以將結(jié)構(gòu)化標(biāo)簽分配給其他輸入醫(yī)學(xué)圖像。在一示例中，醫(yī)學(xué)圖像是胸部X射線。

背景技術(shù)

醫(yī)學(xué)意見和觀察通常以由醫(yī)生準(zhǔn)備的自然語言、自由文本報告的形式傳達。這種在醫(yī)學(xué)記錄中普遍存在的非結(jié)構(gòu)化文本可能會給此信息的下游使用者帶來很大的困難。醫(yī)療保健提供者保持大量醫(yī)學(xué)報告的檔案，但是由于醫(yī)學(xué)注釋的標(biāo)準(zhǔn)化程度低，因此難以充分利用此類報告的潛力。

非結(jié)構(gòu)化的醫(yī)學(xué)注釋在許多情況下會帶來挑戰(zhàn)：

1.檢索感興趣的案例進行審查和研究(例如，識別所有患有罕見疾病的患者)。

2.在進行護理之前，迅速了解困擾患者的先前狀況。閱讀許多冗長的報告可能既耗時又容易出錯。

3.開發(fā)支持做出醫(yī)學(xué)決策的自動化工具。大多數(shù)人工智能技術(shù)都需要結(jié)構(gòu)化數(shù)據(jù)。

4.質(zhì)量監(jiān)控，例如確定患有X病的患者接受治療Y的頻率。

5.帳單。在大多數(shù)醫(yī)療保健系統(tǒng)中，必須將醫(yī)學(xué)遭遇轉(zhuǎn)化為標(biāo)準(zhǔn)代碼組，才有資格報銷。

在用例(1)中，臨床醫(yī)生或研究人員試圖從大型醫(yī)院檔案中識別出患有特定疾病的患者(例如，或者接受特定治療形式的患者)的記錄。這可能是為了基于資格標(biāo)準(zhǔn)招募受試者參加臨床試驗，或者是為了教育/訓(xùn)練目的。如果沒有要查詢的結(jié)構(gòu)化臨床變量的數(shù)據(jù)庫，該任務(wù)將非常艱巨。文本注釋的簡單字符串匹配可能具有很低的特異性。并且稍后，醫(yī)務(wù)人員必須梳理每條記錄，以確定是否確認(rèn)了特定狀況。

在用例(2)中，醫(yī)療保健提供者試圖在初次見面時將患者的病史合并(absorb)。患者可能已經(jīng)處于醫(yī)學(xué)保健系統(tǒng)中一段時間；為了有效地治療患者，他們必須基于由眾多提供者(醫(yī)院、放射科醫(yī)生和其他專家)書寫的散布的筆記以了解以前的見面。當(dāng)有很多文檔要審查時，這可能既費時又容易出錯。基于以前的文檔顯示具體的臨床變量并將閱讀者的注意力吸引到更長筆記的相關(guān)部分的自動化系統(tǒng)，可以在臨床上節(jié)省寶貴的時間。

醫(yī)學(xué)信息學(xué)的研究通常試圖通過自動化系統(tǒng)復(fù)制人類專家的判斷。這樣的努力通常依賴于回顧性數(shù)據(jù)，該回顧性數(shù)據(jù)包括與診斷、治療決策或生存數(shù)據(jù)配對的患者信息(例如實驗室測試，醫(yī)學(xué)圖像)的許多實例。在監(jiān)督學(xué)習(xí)的范式中，患者數(shù)據(jù)是“輸入”，而診斷、結(jié)果或治療建議是“輸出”。然后，建模任務(wù)就是要在給定對更早時間點的患者記錄的情況下進行學(xué)習(xí)以預(yù)測此信息。例如，計算機視覺的應(yīng)用可能試圖通過檢查患者胸部的X射線圖像來自動確定導(dǎo)致患者胸部疼痛的原因。通過利用先前捕獲的圖像及其放射科醫(yī)生的相應(yīng)意見，可以訓(xùn)練這種系統(tǒng)。

為了訓(xùn)練和評估這些模型，重要的是要有可以在其上定義具有臨床意義的指標(biāo)的高度結(jié)構(gòu)化的輸出。高度結(jié)構(gòu)化的輸出的示例將是隨后開具的藥物的代碼。在醫(yī)學(xué)的許多領(lǐng)域(例如放射學(xué)，病理學(xué))，診斷系統(tǒng)的“輸入”始終被存檔為數(shù)字圖像，因此可修改用于現(xiàn)代機器學(xué)習(xí)方法。遺憾的是，歷史診斷(我們的“輸出”)幾乎總是被隱匿在由醫(yī)生提供的自然語言中。該文本通常是非結(jié)構(gòu)化的且標(biāo)準(zhǔn)化程度低的，因此很難在機器學(xué)習(xí)的情景中使用。使用標(biāo)準(zhǔn)化模式或規(guī)范改動(recast)此信息需要醫(yī)務(wù)人員付出大量努力，因此既費時又費錢。

發(fā)明內(nèi)容

本公開涉及一種生成用于自由文本醫(yī)學(xué)報告(例如醫(yī)生筆記)的結(jié)構(gòu)化標(biāo)簽，并將這種標(biāo)簽與附屬于醫(yī)學(xué)報告的醫(yī)學(xué)圖像(諸如胸部X射線)相關(guān)聯(lián)的方法。本公開還涉及其僅從輸入圖像像素生成結(jié)構(gòu)化標(biāo)簽或分類結(jié)構(gòu)化標(biāo)簽的計算機視覺系統(tǒng)。該計算機視覺模型可以幫助診斷或評估醫(yī)學(xué)圖像(例如胸部X射線)。