[發(fā)明專利]標(biāo)志檢測(cè)模型的在線學(xué)習(xí)的方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201410045029.1
• 申請(qǐng)日: 2014-02-07
• 公開（公告）號(hào): CN103985147B
• 公開（公告）日: 2017-06-20
• 發(fā)明（設(shè)計(jì)）人: M.威爾斯;M.克爾姆;M.許玲;周少華
• 申請(qǐng)（專利權(quán)）人: 西門子公司
• 主分類號(hào): G06T15/00
• 分類號(hào): G06T15/00;G06K9/66
• 代理公司: 中國(guó)專利代理(香港)有限公司72001
• 代理人: 劉金鳳,劉春元

技術(shù)領(lǐng)域

本發(fā)明涉及用于醫(yī)學(xué)圖像中的標(biāo)志檢測(cè)的對(duì)標(biāo)志檢測(cè)模型的學(xué)習(xí)，并且更具體地涉及用于終端用戶特定診斷用醫(yī)學(xué)圖像讀取的標(biāo)志檢測(cè)模型的現(xiàn)場(chǎng)學(xué)習(xí)。

背景技術(shù)

在放射學(xué)中，對(duì)例如來(lái)自計(jì)算機(jī)斷層成像（CT）、磁共振成像（MRI）、正電子發(fā)射斷層成像（PET）等的三維醫(yī)學(xué)圖像的例行讀取通常遵循固定的規(guī)則和協(xié)議。這樣的協(xié)議有時(shí)是各個(gè)醫(yī)院以其自己的名義建立和改進(jìn)以確保和實(shí)現(xiàn)高質(zhì)量的護(hù)理。并且，醫(yī)師常常開發(fā)他們自己的用于病例的系統(tǒng)化讀取的方法。取決于要回答的醫(yī)學(xué)問(wèn)題，通過(guò)數(shù)據(jù)集合的導(dǎo)航可能要求對(duì)3D坐標(biāo)方面的某些重要解剖標(biāo)志及其周圍情況的檢查。3D醫(yī)學(xué)圖像數(shù)據(jù)中的標(biāo)準(zhǔn)化斷層成像2D視圖、即平面可能必須相對(duì)于這樣的解剖標(biāo)志被定向。此外，可使用關(guān)于特定病人數(shù)據(jù)集合中的標(biāo)志位置的語(yǔ)義信息，常常與來(lái)自其他源的病人特定信息相組合地使用，以用于類似于圖像融合、基于內(nèi)容的圖像檢索或基于知識(shí)的決策支持的較高級(jí)的圖像后處理。

然而，到特定解剖標(biāo)志的手動(dòng)導(dǎo)航和2D平面到解剖標(biāo)志的雙重傾斜對(duì)準(zhǔn)是耗費(fèi)時(shí)間的，并且能夠通過(guò)對(duì)標(biāo)志和相應(yīng)定向平面的自動(dòng)檢測(cè)來(lái)顯著地改進(jìn)放射治療師的工作流程。用于標(biāo)志和定向平面的自動(dòng)檢測(cè)的算法通常依賴于特定的臨床問(wèn)題和模式。不同的或新開發(fā)的放射檢查和工作流程在各種成像模式和背景下可能要求不同的標(biāo)志和替換定向視平面。此外，世界各地的醫(yī)院和醫(yī)生群體可能有他們自己的單獨(dú)偏好，從而導(dǎo)致自動(dòng)標(biāo)志檢測(cè)和圖像定向方面的更大挑戰(zhàn)。

發(fā)明內(nèi)容

本發(fā)明提供了一種用于終端用戶特定診斷用醫(yī)學(xué)圖像讀取的標(biāo)志檢測(cè)模型的現(xiàn)場(chǎng)學(xué)習(xí)的方法和系統(tǒng)。本發(fā)明的實(shí)施例解決了全自動(dòng)3D標(biāo)志檢測(cè)的問(wèn)題，并提供了能夠應(yīng)對(duì)動(dòng)態(tài)放射性環(huán)境的工作流程個(gè)性化方法。本發(fā)明的實(shí)施例允許終端用戶在相關(guān)標(biāo)志或視平面及適當(dāng)模式的相關(guān)聯(lián)醫(yī)學(xué)成像數(shù)據(jù)方面改變放射性圖像讀取的方案。

在本發(fā)明的一個(gè)實(shí)施例中，提供一種用于標(biāo)志檢測(cè)模型的在線學(xué)習(xí)的方法，包括：接收對(duì)將在3D醫(yī)學(xué)圖像中被檢測(cè)的標(biāo)志的選擇。3D醫(yī)學(xué)圖像中的所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果通過(guò)使用以下步驟來(lái)確定：確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是否可靠；響應(yīng)于確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是可靠的，使用對(duì)應(yīng)于所選標(biāo)志的所存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型來(lái)自動(dòng)地檢測(cè)3D醫(yī)學(xué)圖像中的所選標(biāo)志，以及響應(yīng)于確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是不可靠的，接收對(duì)3D醫(yī)學(xué)圖像中的所選標(biāo)志的手動(dòng)標(biāo)注；以及基于3D醫(yī)學(xué)圖像中的所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果來(lái)更新對(duì)應(yīng)于所選標(biāo)志的所存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型。優(yōu)選地，所述的方法中，確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是否可靠包括：當(dāng)確定不存在對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的標(biāo)志檢測(cè)模型時(shí)，確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是不可靠的。確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是否可靠可以包括：基于與對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型相關(guān)聯(lián)的置信度值來(lái)確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是否可靠，其中所述置信度值是基于以下中的至少一個(gè)：用來(lái)訓(xùn)練對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型的多個(gè)訓(xùn)練樣本，與使用對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型的先前標(biāo)志檢測(cè)結(jié)果有關(guān)的用戶輸入，以及在測(cè)試圖像中的對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型的檢測(cè)錯(cuò)誤。確定在3D醫(yī)學(xué)圖像中針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果可以包括：從用戶接收3D醫(yī)學(xué)圖像中的所選標(biāo)志的手動(dòng)標(biāo)注和調(diào)用自動(dòng)標(biāo)志檢測(cè)的用戶選擇中的一個(gè)；以及響應(yīng)于接收到調(diào)用自動(dòng)標(biāo)志檢測(cè)的用戶選擇，使用對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型來(lái)在3D醫(yī)學(xué)圖像中自動(dòng)地檢測(cè)所選標(biāo)志。所述的方法還可以包括：在更新存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型之前，確定是否需要改進(jìn)所述當(dāng)前標(biāo)志檢測(cè)結(jié)果；以及響應(yīng)于確定需要改進(jìn)所述當(dāng)前標(biāo)志檢測(cè)結(jié)果，接收改進(jìn)所述當(dāng)前標(biāo)志檢測(cè)結(jié)果的手動(dòng)標(biāo)注。所述的方法中，基于在3D醫(yī)學(xué)圖像中針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果來(lái)更新對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型可以包括：將針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果作為新標(biāo)志標(biāo)注存儲(chǔ)在標(biāo)志標(biāo)注的數(shù)據(jù)庫(kù)中；以及響應(yīng)于所述新標(biāo)志標(biāo)注在標(biāo)志標(biāo)注的數(shù)據(jù)庫(kù)中的存儲(chǔ)而更新對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型。將針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果作為新標(biāo)志標(biāo)注存儲(chǔ)在標(biāo)志標(biāo)注的數(shù)據(jù)庫(kù)中可以包括：響應(yīng)于用以保持所述當(dāng)前標(biāo)志檢測(cè)結(jié)果的用戶輸入而將針對(duì)所選標(biāo)志的所述當(dāng)前標(biāo)志檢測(cè)結(jié)果作為新標(biāo)志標(biāo)注存儲(chǔ)在標(biāo)志標(biāo)注的數(shù)據(jù)庫(kù)中。基于在3D醫(yī)學(xué)圖像中針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果來(lái)更新對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型還可以包括：將標(biāo)志標(biāo)注的數(shù)據(jù)庫(kù)中的所述新標(biāo)志標(biāo)注與存儲(chǔ)在醫(yī)學(xué)圖像的數(shù)據(jù)庫(kù)中的3D醫(yī)學(xué)圖像鏈接。響應(yīng)于所述新標(biāo)志標(biāo)注在標(biāo)志標(biāo)注的數(shù)據(jù)庫(kù)中的存儲(chǔ)而更新對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型可以包括：向?qū)?yīng)于所選標(biāo)志的正訓(xùn)練樣本組添加所述新標(biāo)志標(biāo)注；將選自被鏈接到所述新標(biāo)志標(biāo)注的3D醫(yī)學(xué)圖像的負(fù)訓(xùn)練樣本添加到對(duì)應(yīng)于所選標(biāo)志的負(fù)訓(xùn)練樣本組；以及基于對(duì)應(yīng)于所選標(biāo)志的所述正訓(xùn)練樣本組和對(duì)應(yīng)于所選標(biāo)志的所述負(fù)訓(xùn)練樣本組來(lái)更新對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型。基于在3D醫(yī)學(xué)圖像中針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果來(lái)更新對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型可以包括：使用在線隨機(jī)森林基于所述當(dāng)前標(biāo)志檢測(cè)結(jié)果來(lái)更新對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型。所選標(biāo)志可以包括定義3D醫(yī)學(xué)圖像的自定義視圖的多個(gè)標(biāo)志。在本發(fā)明的另一個(gè)實(shí)施例中，提供一種用于3D醫(yī)學(xué)圖像的交互式查看和標(biāo)志檢測(cè)模型的在線學(xué)習(xí)的設(shè)備，包括：3D醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)，其用以存儲(chǔ)3D醫(yī)學(xué)圖像；標(biāo)志標(biāo)注數(shù)據(jù)庫(kù)，其用以存儲(chǔ)多個(gè)標(biāo)志的標(biāo)志標(biāo)注；檢測(cè)模型數(shù)據(jù)庫(kù)，其用以存儲(chǔ)對(duì)應(yīng)于多個(gè)標(biāo)志的經(jīng)訓(xùn)練的標(biāo)志檢測(cè)模型；用戶界面控制器，其被配置成控制交互式3D醫(yī)學(xué)圖像查看器，所述交互式3D醫(yī)學(xué)圖像查看器包括：用以顯示存儲(chǔ)在3D醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)中的3D醫(yī)學(xué)圖像的多個(gè)視圖的多個(gè)顯示窗口，用于手動(dòng)地標(biāo)注3D醫(yī)學(xué)圖像中的標(biāo)志的用戶控制裝置，以及用于調(diào)用3D醫(yī)學(xué)圖像中的自動(dòng)標(biāo)志檢測(cè)的用戶控制裝置，并且所述用戶界面控制器被配置成控制所述標(biāo)志標(biāo)注數(shù)據(jù)庫(kù)以將3D醫(yī)學(xué)圖像中的手動(dòng)標(biāo)注的或自動(dòng)檢測(cè)的標(biāo)志存儲(chǔ)為標(biāo)志標(biāo)注；以及機(jī)器學(xué)習(xí)模塊，其被配置成使用存儲(chǔ)在所述檢測(cè)模型數(shù)據(jù)庫(kù)中的相應(yīng)的經(jīng)訓(xùn)練的標(biāo)志檢測(cè)模型來(lái)執(zhí)行顯示在交互式3D醫(yī)學(xué)圖像查看器上的3D醫(yī)學(xué)圖像中的所選標(biāo)志的自動(dòng)標(biāo)志檢測(cè)，并被配置成響應(yīng)于3D醫(yī)學(xué)圖像中的手動(dòng)標(biāo)注的或自動(dòng)檢測(cè)的標(biāo)志被作為對(duì)應(yīng)于所選標(biāo)志的標(biāo)志標(biāo)注存儲(chǔ)在所述標(biāo)志標(biāo)注數(shù)據(jù)庫(kù)中而增量地更新存儲(chǔ)在所述檢測(cè)器模型數(shù)據(jù)庫(kù)中的所述相應(yīng)的經(jīng)訓(xùn)練的檢測(cè)模型。優(yōu)選地，所述的設(shè)備中，所述用戶界面控制器還被配置成響應(yīng)于機(jī)器學(xué)習(xí)模塊自動(dòng)地檢測(cè)到顯示于交互式3D醫(yī)學(xué)圖像查看器上的3D醫(yī)學(xué)圖像中的所選標(biāo)志而控制交互式3D醫(yī)學(xué)圖像查看器顯示自動(dòng)標(biāo)志檢測(cè)結(jié)果。被存儲(chǔ)在所述標(biāo)志標(biāo)注數(shù)據(jù)庫(kù)中的標(biāo)志標(biāo)注可以被鏈接到被存儲(chǔ)在所述3D醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)中的相應(yīng)的3D醫(yī)學(xué)圖像。根據(jù)本發(fā)明的又一種實(shí)施例，提供一種用于標(biāo)志檢測(cè)模型的在線學(xué)習(xí)的設(shè)備，包括：用于使得能夠接收要在3D醫(yī)學(xué)圖像中檢測(cè)的標(biāo)志的選擇的部件；用于通過(guò)以下步驟來(lái)確定在3D醫(yī)學(xué)圖像中針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果的部件：確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是否可靠；響應(yīng)于確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是可靠的，使用對(duì)應(yīng)于所選標(biāo)志的所述存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型在3D醫(yī)學(xué)圖像中自動(dòng)地檢測(cè)所選標(biāo)志，以及響應(yīng)于確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是不可靠的，接收3D醫(yī)學(xué)圖像中的所選標(biāo)志的手動(dòng)標(biāo)注；以及用于基于在3D醫(yī)學(xué)圖像中針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果來(lái)更新對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型的部件。所述的設(shè)備中，確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是否可靠可以包括：基于與對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型相關(guān)聯(lián)的置信度值來(lái)確定對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型是否可靠，其中，所述置信度值是基于以下中的至少一個(gè)：用來(lái)訓(xùn)練對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型的多個(gè)訓(xùn)練樣本，與使用對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型的先前標(biāo)志檢測(cè)結(jié)果有關(guān)的用戶輸入，以及在測(cè)試圖像中的對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型的檢測(cè)錯(cuò)誤。所述的設(shè)備中，用于確定在3D醫(yī)學(xué)圖像中針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果的部件可以包括：用于使得能夠從用戶接收3D醫(yī)學(xué)圖像中的所選標(biāo)志的手動(dòng)標(biāo)注和調(diào)用自動(dòng)標(biāo)志檢測(cè)的用戶選擇中的一個(gè)的部件；以及用于響應(yīng)于接收到調(diào)用自動(dòng)標(biāo)志檢測(cè)的用戶選擇，使用對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型來(lái)在3D醫(yī)學(xué)圖像中自動(dòng)地檢測(cè)所選標(biāo)志的部件。所述的設(shè)備還可以包括：用于在更新存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型之前，確定是否需要改進(jìn)所述當(dāng)前標(biāo)志檢測(cè)結(jié)果的部件；以及用于響應(yīng)于確定需要改進(jìn)所述當(dāng)前標(biāo)志檢測(cè)結(jié)果，接收改進(jìn)所述當(dāng)前標(biāo)志檢測(cè)結(jié)果的手動(dòng)標(biāo)注的部件。用于基于在3D醫(yī)學(xué)圖像中針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果來(lái)更新對(duì)應(yīng)于所選標(biāo)志的存儲(chǔ)的經(jīng)訓(xùn)練的基于機(jī)器學(xué)習(xí)的標(biāo)志檢測(cè)模型的部件可以包括：用于將針對(duì)所選標(biāo)志的當(dāng)前標(biāo)志檢測(cè)結(jié)果作為新標(biāo)志標(biāo)注存儲(chǔ)在標(biāo)志標(biāo)注的數(shù)據(jù)庫(kù)中的部件；以及