[發(fā)明專利]通過對(duì)象檢測定位的醫(yī)學(xué)圖像的三維對(duì)象分割

在審

• 申請(qǐng)?zhí)枺?/td>: 202080057028.2
• 申請(qǐng)日: 2020-08-13
• 公開（公告）號(hào): CN114503159A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: L·謝;K·H·巴克;O·巴茲吉爾
• 申請(qǐng)（專利權(quán)）人: 豪夫邁·羅氏有限公司
• 主分類號(hào): G06T7/12
• 分類號(hào): G06T7/12;G06T7/174;G06T7/73;G06K9/62;G06N3/04;G06N3/08;G06V10/764;G06V10/82
• 代理公司: 北京坤瑞律師事務(wù)所 11494
• 代理人: 岑曉東

本公開涉及使用深度學(xué)習(xí)網(wǎng)絡(luò)來分割醫(yī)學(xué)圖像內(nèi)的對(duì)象的技術(shù)，所述深度學(xué)習(xí)網(wǎng)絡(luò)基于衍生對(duì)比度機(jī)制通過對(duì)象檢測進(jìn)行定位。特別地，本發(fā)明的方面涉及定位具有第一特征的第一醫(yī)學(xué)圖像內(nèi)的目的對(duì)象、將所述目的對(duì)象的邊界框或分割掩膜投影到具有第二特征的第二醫(yī)學(xué)圖像上以限定所述第二醫(yī)學(xué)圖像的一部分以及將所述第二醫(yī)學(xué)圖像的所述部分輸入深度學(xué)習(xí)模型中，所述深度學(xué)習(xí)模型被配置為使用能夠分割所述第二醫(yī)學(xué)圖像的所述部分并且生成圍繞所述目的對(duì)象的分割邊界的加權(quán)損失函數(shù)的檢測器。所述分割邊界可用于計(jì)算所述目的對(duì)象的體積，以用于確定受試者的診斷和/或預(yù)后。

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求2019年8月14日提交的美國臨時(shí)申請(qǐng)?zhí)?2/886,844的優(yōu)先權(quán)和權(quán)益，其內(nèi)容出于所有目的以引用方式全文并入本文。

技術(shù)領(lǐng)域

本公開涉及醫(yī)學(xué)圖像的自動(dòng)化對(duì)象分割，并且特別地涉及使用深度學(xué)習(xí)網(wǎng)絡(luò)分割醫(yī)學(xué)圖像內(nèi)的對(duì)象的技術(shù)，該深度學(xué)習(xí)網(wǎng)絡(luò)基于衍生對(duì)比度機(jī)制通過對(duì)象檢測進(jìn)行定位。

背景技術(shù)

計(jì)算機(jī)視覺涉及使用數(shù)字圖像和視頻來推斷出對(duì)這些圖像和視頻中的內(nèi)容的一些理解。對(duì)象識(shí)別與計(jì)算機(jī)視覺相關(guān)聯(lián)，是指涉及識(shí)別圖像幀中存在的對(duì)象的一組相關(guān)的計(jì)算機(jī)視覺任務(wù)。這些任務(wù)包括圖像分類、對(duì)象定位、對(duì)象檢測和對(duì)象分割。圖像分類涉及預(yù)測圖像幀中的一個(gè)或多個(gè)對(duì)象的類別。對(duì)象定位是指識(shí)別圖像幀中一個(gè)或多個(gè)對(duì)象的位置，并且在其范圍周圍繪制邊界框。對(duì)象檢測將這兩種任務(wù)組合，定位并且分類圖像幀中的一個(gè)或多個(gè)對(duì)象。對(duì)象分割涉及突出顯示所定位或檢測的對(duì)象而不是粗邊界框的特定像素(生成掩碼)。對(duì)象識(shí)別技術(shù)通常分為基于機(jī)器學(xué)習(xí)的方法或基于深度學(xué)習(xí)的方法。對(duì)于基于機(jī)器學(xué)習(xí)的對(duì)象定位和檢測方法，圖像內(nèi)的特征最初使用特征描述符諸如Haar樣特征、尺度不變特征變換或方向梯度直方圖(HOG)來定義，然后使用諸如支持向量機(jī)(SVM)等技術(shù)基于該特征描述符來檢測目的對(duì)象。另一方面，深度學(xué)習(xí)技術(shù)能夠在缺少明確定義的特征的情況下執(zhí)行端到端對(duì)象檢測和分割，并且通常基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)，諸如基于區(qū)域的網(wǎng)絡(luò)(R-CNN、Fast R-CNN、Faster R-CNN和級(jí)聯(lián)R-CNN)。

發(fā)明內(nèi)容

在一些實(shí)施例中，提供了一種用于分割醫(yī)學(xué)圖像內(nèi)的對(duì)象的計(jì)算機(jī)實(shí)現(xiàn)的方法。該方法包括：獲得受試者的醫(yī)學(xué)圖像，該醫(yī)學(xué)圖像包括具有第一特征的第一圖像和具有第二特征的第二圖像，其中該醫(yī)學(xué)圖像使用一種或多種醫(yī)學(xué)成像方式生成；使用定位模型將第一圖像內(nèi)的對(duì)象定位并且分類為多個(gè)對(duì)象類別，其中該分類將該第一圖像的像素或體素的集合分配至所述多個(gè)對(duì)象類別中的一個(gè)或多個(gè)中；使用定位模型，基于分配有所述多個(gè)對(duì)象類別中的對(duì)象類別的像素或體素的集合來確定用于第一圖像內(nèi)的目的對(duì)象的邊界框或分割掩膜；將邊界框或分割掩膜轉(zhuǎn)移到第二圖像上，以限定該第二圖像的包括目的對(duì)象的部分；將第二圖像的部分輸入三維神經(jīng)網(wǎng)絡(luò)模型中，該三維神經(jīng)網(wǎng)絡(luò)模型被構(gòu)建用于使用加權(quán)損失函數(shù)進(jìn)行體積分割；使用三維神經(jīng)網(wǎng)絡(luò)模型生成圍繞目的對(duì)象的估計(jì)的分割邊界；以及使用三維神經(jīng)網(wǎng)絡(luò)輸出第二圖像的具有圍繞目的對(duì)象的估計(jì)的分割邊界的部分。

在一些實(shí)施例中，所述一種或多種醫(yī)學(xué)成像方式包括第一醫(yī)學(xué)成像方式以及與該第一醫(yī)學(xué)成像方式不同的第二醫(yī)學(xué)成像方式，并且其中第一圖像由第一醫(yī)學(xué)成像方式生成，并且第二圖像由第二醫(yī)學(xué)成像方式生成。

在一些實(shí)施例中，所述一種或多種醫(yī)學(xué)成像方式包括第一醫(yī)學(xué)成像方式以及與該第一醫(yī)學(xué)成像方式相同的第二醫(yī)學(xué)成像方式，并且其中第一圖像由第一醫(yī)學(xué)成像方式生成，并且第二圖像由第二醫(yī)學(xué)成像方式生成。

在一些實(shí)施例中，第一圖像為第一類型的圖像并且第二圖像為第二類型的圖像，并且其中第一類型的圖像與第二類型的圖像不同。

在一些實(shí)施例中，第一圖像為第一類型的圖像并且第二圖像為第二類型的圖像，并且其中第一類型的圖像與第二類型的圖像相同。

在一些實(shí)施例中，第一特征與第二特征不同。

在一些實(shí)施例中，第一特征與第二特征相同。