[發(fā)明專利]自動(dòng)圖像對(duì)齊

有效

• 申請(qǐng)?zhí)枺?/td>: 201310059353.4
• 申請(qǐng)日: 2013-02-26
• 公開(kāi)（公告）號(hào): CN103325085A
• 公開(kāi)（公告）日: 2013-09-25
• 發(fā)明（設(shè)計(jì)）人: 余良吟;劉明昌
• 申請(qǐng)（專利權(quán)）人: 索尼公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T1/00
• 代理公司: 中國(guó)國(guó)際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所 11038
• 代理人: 馮玉清

技術(shù)領(lǐng)域

本公開(kāi)涉及用于自動(dòng)地對(duì)齊圖像（例如，用不同方法染色的組織樣本的圖像）的方法和系統(tǒng)。

背景技術(shù)

病理診斷通常涉及將組織樣本（例如，活體樣本）切成薄片，將切片放置在各個(gè)載玻片上，并用不同的方法和試劑給切片染色。例如，組織樣本切片可用蘇木精和伊紅（H&E）染色劑染色，以用于使樣本的組織結(jié)構(gòu)顯現(xiàn)，而相鄰的組織樣本切片可用具有因病而異的抗體的免疫組織化學(xué)（IHC）染色劑染色。病理學(xué)家通常對(duì)H&E染色樣本執(zhí)行初步診斷，然后從同一活體塊進(jìn)行IHC染色以用于驗(yàn)證和預(yù)后。

隨著數(shù)字化的趨勢(shì)，標(biāo)本玻片通常被掃描為數(shù)字圖像（虛擬玻片）以供日后在監(jiān)控器上查看。為了做出最終診斷，病理學(xué)家需要同時(shí)檢查來(lái)自同一活體塊的H&E圖像上的感興趣的區(qū)域及其在IHC圖像上的對(duì)應(yīng)區(qū)域。因此，需要在監(jiān)控器上對(duì)齊這些染色圖像，使得可在整個(gè)圖像上實(shí)現(xiàn)同時(shí)、同步的查看，并且無(wú)論倍率如何，對(duì)應(yīng)查看都是準(zhǔn)確的（圖1）。

對(duì)齊這樣的染色圖像是有挑戰(zhàn)性的，因?yàn)樵谟貌煌椒ㄈ旧膬蓚€(gè)相鄰樣本切片之間通常存在很大的圖像外觀差異，并且涉及各種局部變形。相鄰樣本通過(guò)簡(jiǎn)單變換之后通常是不相關(guān)的，并且結(jié)構(gòu)變化在整個(gè)相鄰樣本和不同倍率上是不可預(yù)測(cè)的。例如，從組織塊的相鄰但不同的部分獲得的兩個(gè)圖像可能具有未良好定義的結(jié)構(gòu)對(duì)應(yīng)關(guān)系（參見(jiàn)圖2）。并且染色圖像可能具有微弱的結(jié)構(gòu)，需要使其變得明確以便對(duì)齊整個(gè)圖像（圖3）。此外，因?yàn)榻M織切片在樣本處理期間可能被拉伸或變形，所以每個(gè)圖像的不同部分可能與同一圖像的其他部分不同地變換（圖4）。

由于上述問(wèn)題，現(xiàn)有的用于圖像對(duì)齊和導(dǎo)航的系統(tǒng)要求用戶手工定位虛擬玻片（圖像）上的對(duì)應(yīng)區(qū)域。當(dāng)在遠(yuǎn)離對(duì)齊區(qū)域的區(qū)域中和在不同分辨率查看時(shí)，必須重新進(jìn)行該過(guò)程。對(duì)于非常大的圖像（例如，100k×100k），該過(guò)程變得繁瑣且不實(shí)用。另外，當(dāng)在高分辨率對(duì)圖像進(jìn)行局部檢查時(shí)，對(duì)應(yīng)區(qū)域之間的外觀快速岔開(kāi)，變得難以找到匹配點(diǎn)。

因此，需要開(kāi)發(fā)用于自動(dòng)地對(duì)齊整體外觀類似但具有局部變形的圖像（例如，用不同方法染色的組織樣本的大圖像）的方法和系統(tǒng)。

發(fā)明內(nèi)容

本公開(kāi)包括用于對(duì)齊圖像的示例性方法。所述方法的實(shí)施例包括：(a)確定第一圖像與第二圖像之間的初始對(duì)應(yīng)點(diǎn)特征；(b)從所述圖像內(nèi)的初始對(duì)應(yīng)點(diǎn)特征對(duì)所述圖像創(chuàng)建三角形網(wǎng)格；和(c)基于使用所述三角形網(wǎng)格的仿射變換估計(jì)來(lái)改善第一圖像與第二圖像之間的點(diǎn)對(duì)應(yīng)關(guān)系。所述方法的實(shí)施例還可包括：(d)從在(c)中改善的點(diǎn)對(duì)應(yīng)關(guān)系對(duì)所述圖像創(chuàng)建改善的三角形網(wǎng)格；和(e)通過(guò)改善的三角形網(wǎng)格中的多對(duì)對(duì)應(yīng)三角形上的仿射變換的插值來(lái)確定所述多對(duì)對(duì)應(yīng)三角形的區(qū)域內(nèi)的坐標(biāo)對(duì)齊。

根據(jù)本公開(kāi)內(nèi)容的示例性系統(tǒng)包括：對(duì)應(yīng)關(guān)系創(chuàng)建器，其確定第一圖像與第二圖像之間的初始對(duì)應(yīng)點(diǎn)特征；第一三角儀，其從所述圖像內(nèi)的初始對(duì)應(yīng)點(diǎn)特征對(duì)所述圖像創(chuàng)建三角形網(wǎng)格；對(duì)應(yīng)關(guān)系改善器，其基于使用所述三角形網(wǎng)格的仿射變換估計(jì)來(lái)改善第一圖像與第二圖像之間的點(diǎn)對(duì)應(yīng)關(guān)系；第二三角儀，其從改善的點(diǎn)對(duì)應(yīng)關(guān)系對(duì)所述圖像創(chuàng)建改善的三角形網(wǎng)格；和坐標(biāo)對(duì)齊產(chǎn)生器，其通過(guò)使用改善的三角形網(wǎng)格中的多對(duì)對(duì)應(yīng)三角形上的仿射變換進(jìn)行插值來(lái)確定所述多對(duì)對(duì)應(yīng)三角形的區(qū)域內(nèi)的坐標(biāo)對(duì)齊。

本公開(kāi)內(nèi)容包括一種存儲(chǔ)在被執(zhí)行時(shí)使計(jì)算機(jī)執(zhí)行用于對(duì)齊圖像的方法的示例性計(jì)算機(jī)可讀介質(zhì)，所述方法包括：(a)確定第一圖像與第二圖像之間的初始對(duì)應(yīng)點(diǎn)特征；(b)從所述圖像內(nèi)的初始對(duì)應(yīng)點(diǎn)特征對(duì)所述圖像創(chuàng)建三角形網(wǎng)格；(c)基于使用所述三角形網(wǎng)格的仿射變換估計(jì)來(lái)改善第一圖像與第二圖像之間的點(diǎn)對(duì)應(yīng)關(guān)系；(d)從在(c)中改善的點(diǎn)對(duì)應(yīng)關(guān)系對(duì)所述圖像創(chuàng)建改善的三角形網(wǎng)格；和(e)通過(guò)使用改善的三角形網(wǎng)格中的多對(duì)對(duì)應(yīng)三角形上的仿射變換進(jìn)行插值來(lái)確定所述多對(duì)對(duì)應(yīng)三角形的區(qū)域內(nèi)的坐標(biāo)對(duì)齊。

還提供一種用于對(duì)齊圖像的示例性計(jì)算機(jī)系統(tǒng)，該計(jì)算機(jī)系統(tǒng)包括：一個(gè)或多個(gè)處理器，其被構(gòu)造為執(zhí)行程序指令；和計(jì)算機(jī)可讀介質(zhì)，其包含在被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)使所述計(jì)算機(jī)系統(tǒng)執(zhí)行用于對(duì)齊圖像的方法的可執(zhí)行指令，所述方法包括：(a)確定第一圖像與第二圖像之間的初始對(duì)應(yīng)點(diǎn)特征；(b)從所述圖像內(nèi)的初始對(duì)應(yīng)點(diǎn)特征對(duì)所述圖像創(chuàng)建三角形網(wǎng)格；(c)基于使用所述三角形網(wǎng)格的仿射變換估計(jì)來(lái)改善第一圖像與第二圖像之間的點(diǎn)對(duì)應(yīng)關(guān)系；(d)從在(c)中改善的點(diǎn)對(duì)應(yīng)關(guān)系對(duì)所述圖像創(chuàng)建改善的三角形網(wǎng)格；和(e)通過(guò)改善的三角形網(wǎng)格中的多對(duì)對(duì)應(yīng)三角形上的仿射變換的插值來(lái)確定所述多對(duì)對(duì)應(yīng)三角形的區(qū)域內(nèi)的坐標(biāo)對(duì)齊。