[發明專利]一種多分支圖像分割方法、裝置、介質及電子設備

有效

• 申請號: 202011128727.X
• 申請日: 2020-10-20
• 公開（公告）號: CN112258524B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 黃文豪;張歡;王瑜;趙朝煒;李新陽;陳寬;王少康
• 申請（專利權）人: 推想醫療科技股份有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T3/40;G06N3/04;G06V10/82;G06V10/774
• 代理公司: 北京布瑞知識產權代理有限公司 11505
• 代理人: 黃俊

本發明公開了一種多分支圖像分割方法、分割裝置、存儲介質以及電子設備，通過對待分割圖像進行下采樣縮小圖像尺寸并輸入第一模型，得到待分割圖像的全局特征圖像和粗粒度的第一輸出圖像，然后將待分割圖像劃分為多個區域圖像，并將多個區域圖像和全局特征圖像輸入第二模型，由第二模型結合全局特征和區域圖像進行細粒度的分割，得到第二輸出圖像，最后融合第一輸出圖像和第二輸出圖像以得到最終的分割結果，利用第一模型得到粗粒度的分割結果、第二模型得到細粒度的分割結果，可以滿足不同分支需求，并且，結合粗粒度分割結果的全局特征和細粒度分割結果的局部特征，可以獲取更加準確的分割結果。

技術領域

本申請涉及圖像處理領域，具體涉及一種多分支圖像分割方法、分割裝置、計算機可讀存儲介質以及電子設備。

背景技術

隨著人工智能技術的不斷發展，特別是在圖像處理方面的技術，使得神經網絡模型大量應用于以圖像識別和分割為基層的領域，例如醫學圖像診斷、無人駕駛控制等。

然而，隨著應用場景的不斷復雜和準確度的需求，神經網絡模型的復雜程度也日益增加，從而使得計算效率降低，這樣就降低了神經網絡模型的優越性。神經網絡模型優化技術主要是尋求模型效果和效率之間的平衡，在保證模型效果(相對復雜的模型效果更佳)的同時，盡可能減少模型的計算量(提高計算效率)。目前，大多數研究方向都是對神經網絡模型進行“瘦身”，即降低模型的復雜程度，這樣顯然是不利于模型的計算效果和準確度的。

發明內容

為了解決上述技術問題，本申請提出了一種多分支圖像分割方法、分割裝置、計算機可讀存儲介質以及電子設備，通過對待分割圖像進行下采樣縮小圖像尺寸得到下采樣圖像，并將下采樣圖像輸入第一模型，得到全局特征圖像和第一輸出圖像，即利用第一模型得到待分割圖像的全局特征圖像和粗粒度的第一輸出圖像，然后將待分割圖像劃分為多個區域圖像，并將多個區域圖像和全局特征圖像輸入第二模型，由第二模型結合全局特征和區域圖像進行細粒度的分割，得到第二輸出圖像，最后融合第一輸出圖像和第二輸出圖像以得到最終的分割結果，本申請應用于多分支圖像的分割，利用第一模型得到粗粒度的分割結果、第二模型得到細粒度的分割結果，可以滿足不同分支需求，并且，結合粗粒度分割結果的全局特征和細粒度分割結果的局部特征，可以獲取更加準確的分割結果；并且由于第一模型的輸入為下采樣的圖像，第二模型的輸入為帶分割圖像的一部分，因此，整個模型占用GPU顯存較小，可以將整個過程放置在GPU上進行計算，運行速度大大提升。

根據本申請的一個方面，提供了一種多分支圖像分割方法，包括：對待分割圖像進行下采樣操作，得到下采樣圖像；將所述下采樣圖像輸入第一模型，得到全局特征圖像和第一輸出圖像；將所述待分割圖像劃分為多個區域圖像；將所述多個區域圖像和所述全局特征圖像輸入第二模型，得到第二輸出圖像；以及融合所述第一輸出圖像和所述第二輸出圖像，得到所述待分割圖像的分割結果。

在一實施例中，所述將所述下采樣圖像輸入第一模型，得到全局特征圖像和第一輸出圖像包括：將所述下采樣圖像輸入第一模型，得到所述全局特征圖像；以及對所述全局特征圖像進行上采樣操作，得到所述第一輸出圖像。

在一實施例中，所述全局特征圖像包括所述待分割圖像中每個像素點的類別概率，所述對所述全局特征圖像進行上采樣操作，得到所述第一輸出圖像包括：選取每個像素點的最大概率對應的類別作為該像素點的預測類別，得到所述全局特征圖像的單類別預測圖；以及對所述單類別預測圖進行上采樣操作，得到所述第一輸出圖像。

在一實施例中，所述將所述多個區域圖像和所述全局特征圖像輸入第二模型，得到第二輸出圖像包括：將所述多個區域圖像中的每個區域圖像分別和所述全局特征圖像輸入所述第二模型，得到多個區域輸出圖像；以及將所述多個區域輸出圖像拼接，得到所述第二輸出圖像。

在一實施例中，所述將所述多個區域圖像和所述全局特征圖像輸入第二模型，得到第二輸出圖像包括：選取所述多個區域圖像中的至少一個區域圖像和所述全局特征圖像的對應區域圖像輸入所述第二模型，得到所述第二輸出圖像。