[發明專利]一種基于多尺度的全掃描病理特征融合提取方法及系統

有效

• 申請號: 202210980583.3
• 申請日: 2022-08-16
• 公開（公告）號: CN115063592B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 黃海亮;朱聞韜;金源;薛夢凡
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/764;G06V10/774;G06V10/80;G16H30/20;G16H50/20;G06T7/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于多尺度的全掃描病理特征融合提取方法及系統，本發明通過使用多尺度的全掃描病理特征融合提取的方式，借用多尺度的方案使得特征提取擁有更全面的信息，既有全局的整體信息，又有局部的詳細信息。再結合注意力機制的加權融合方案，使得最終獲取的特征，重點更加突出，更能代表全掃描病理圖像。通過本發明，可以更好的獲取全掃描病理圖像的整體特征，從而可以協助病理科醫生進行病理診斷、幫助臨床醫生更好的使用多模態信息進行疾病診斷時，提高多模態融合分析的準確性。

技術領域

本發明涉及醫學影像領域，具體涉及一種基于多尺度的全掃描病理特征融合提取方法及系統。

背景技術

隨著醫療技術的不斷發展，病理檢查已經大量應用于臨床工作及科學研究，在臨床方面，病理檢查主要進行尸體病理檢查及手術病理檢查。手術病理檢查的目的，一是為了明確診斷及驗證術前的診斷，提高臨床的診斷水平；二是診斷明確后，可決定下步治療方案及預后估計，進而提高臨床的治療水平。通過臨床病例分析，也可獲得大量極有價值的科研資料。在手術病理檢查時，主要通過從患者身體病變部位取出的小塊組織制作成病理切片后通過病理染色技術進行染色，然后通過顯微鏡對其細胞形態學及組織病理學等檢查來確定患者的病變性質，做出病理診斷，稱為活體組織檢查。即用以檢查機體器官、組織或細胞中的病理改變的病理形態學方法，是所有檢查之中診斷準確率最高的一種檢查方法，是公認的“金標準”。

以往對于病理的診斷，需要專業的病理科醫生在顯微鏡上通過不斷的移動病理切片來尋找病變的細胞，以此來確定疾病進行診斷。隨著病理切片掃描儀的出現，可以通過圖像拼接技術將一整個病理切片的所有視野都拼接成一個分辨率超高的數字病理圖像，這將大大解放病理醫生需要長期趴在顯微鏡上尋找病變細胞的操作，也為將人工智能技術引入到病理診斷中提供了可能。

隨著深度學習技術的不斷發展，深度學習不僅在計算機視覺領域取得了成功，在醫療領域的應用也越來越廣泛，如分類、檢測和分割、配準和檢索等方面，且都取得了較好的效果。深度學習可以自動的從大量的數據中去學習特定任務的顯著性高階特征，從而完成特定的任務。然而由于病理圖像的分辨率非常高，且受到硬件設備的限制，現有的深度學習網絡并不能一次性將整個全掃描病理圖像輸入到深度學習網絡中，現有的常規操作是將全掃描病理圖像切成若干個固定大小的patch塊，然后再輸入到深度學習網絡中，依次進行計算。這種方式在病理圖像的診斷、細胞分割等任務中，擁有良好的表現。然而深度學習的發展已經在向多模態的方向進展，此時如果依舊使用上面的模式，每個patch塊單獨進行計算，那么在特征提取的時候一張全掃描的病理圖像將會獲取若干個病理特征，這將對多模態方案中的特征融合帶來巨大的挑戰。現有的解決方案有，隨機選取一個病理特征用于多模態特征融合，或者根據特征間的歐氏距離或者聚類的方案從中選取一個具有代表性的病理特征。這些方案雖然可以有效解決多模態特征融合中一對多的情況，但是這些方案并未考慮到這些特征選擇的方式是否是最優的選擇。這些方案歸根到底是使用任意一個從全掃描病理圖像中切下來的patch塊的特征，但是這一個塊只能表示全掃描病理圖像當前位置或者周邊位置的特征信息，并不能很好有效的囊括整個全掃描病理圖像的特征信息。除此之外，還有另一種方案，就是將所有patch塊的病理特征直接求平均，該方法可以很好的包含所有病理特征，但同時也有很大的可能會將主要的特征隱藏，并不是一個較優的病理特征提取方案。因此在使用深度學習技術，協助病理科醫生進行病理診斷、臨床醫生更好的使用多模態信息進行疾病診斷時，如何更好的獲取一整張全掃描病理圖像的特征尤為重要。

發明內容

本發明的目的在于針對現有技術的不足，提出了一種基于多尺度的全掃描病理特征融合提取系統及構建方法，通過借助全掃描病理圖像高分辨率的特性，使用多尺度的方案，從多個分辨率維度進行特征融合提取，從而有效的獲取全掃描病理圖像的主要特征信息，以幫助后續多模態信息診斷的使用。

本發明的目的是通過以下技術方案來實現的：

一種基于多尺度的全掃描病理特征融合提取方法，包括：

（1）將待處理的全掃描病理圖像分割成多個前景病理圖像；