[發明專利]在圖像中對稀疏分布的對象進行分割的方法和系統

有效

• 申請號: 201710992115.7
• 申請日: 2017-10-23
• 公開（公告）號: CN109493347B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 陳翰博;宋麒;尹游兵;李育威
• 申請（專利權）人: 深圳科亞醫療科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/13;G06N3/04
• 代理公司: 北京金信知識產權代理有限公司 11225
• 代理人: 黃威;夏東棟

本發明公開了一種在圖像中對稀疏分布的對象進行分割的方法和系統。一種在圖像中對稀疏分布的對象進行分割的方法，所述方法利用全卷積神經網絡進行分割，以得到表征所述圖像的每個像素點屬于對象的概率值的概率圖像，其特征在于，所述方法包括如下步驟：將所述圖像輸入到所述第一全卷積網絡，以對所述圖像內的對象可能區域進行預測；將所述圖像中表征所述對象可能區域的子圖像用作所述第二全卷積網絡的前端輸入，以計算子概率圖像；以及將計算得到的子概率圖像拼接起來以生成所述概率圖像。其能夠快速、高效且精準地完成圖像分割任務。

技術領域

本發明涉及圖像分割的方法和系統，更具體地，涉及利用神經網絡在圖像中進行對象分割的方法和系統。

背景技術

圖像分割系統在眾多影像分析處理系統中都是不可或缺的一部分。如果將一張圖像描述成排列成矩陣的像素點，圖像分割系統的作用則是對這些像素點進行分類。可以根據需要來設定類別的數量。例如，進行人臉識別的軟件往往需要對人臉進行分割，先將人類區域所屬的像素點(前景區域)與非人類區域的像素點(背景區域)區分開來。對自然風景照片進行識別的軟件則往往需要將圖像分割成天空、山川、河流、動物等不同的區域。

圖像分割系統不只在日常生活中有著應用，在許多專業領域中，包括海事、軍事、氣象、航空航天和醫學領域等，也有著重要的應用。以醫學領域為例，心血管疾病的診斷系統需要先將血管組織分割出來；而肺病的診斷系統則需要先將肺氣管、肺血管、以及潛在的肺結節分割出來。精確的分割有助于進行三維模型重建、可視化以協助醫師進行判斷，同時也是后續定量分析重要臨床參數(如尺寸大小、形狀、像素統計結果等)的精確度的根本保證。又例如在航空航天領域，星空影像的分析系統則需要先進行圖像分割將恒星、行星、星系所在的區域與背景區域區分開來，而大氣衛星遙感圖像的分析系統則需要將圖像中的云層、土地、水域等區域分割出來。盡管應用各不相同，但這些分割系統的設計過程中，精確度都是重要的指標，而另一個重要的指標則是速度。

為了獲取更高的精度，新近開發的分割方法中引入了基于機器學習的數據驅動方法。在這類系統中，開發者會將事先標注好的分割圖像與原始圖像作為訓練樣本一同輸入到系統之中，通過計算數據之間的統計模型以找尋規律，并基于這一學習得到的規律，完成對測試圖像的分割。

在眾多機器學習方法中，神經網絡(即深度學習，deep learning)方法由于其優異的性能在近幾年被應用于越來越多的圖像處理算法中。其中，基于卷積的神經網絡(簡稱為“卷積神經網絡”)的方法表現尤為突出。神經網絡是一種特殊的計算網絡結構，其由多層計算單元組成，上一層計算單元的數值被加權疊加并經過一個非線性激活函數傳遞給下一層。圖1(a)示出了擁有三層結構的全連接神經網絡；圖1(b)示出了卷積神經網絡，不同于全連接神經網絡，卷積神經網絡中的連接相對稀疏，每個計算單元只與上一層中空間相鄰的計算單元相連接，且連接的權重(a1、a2、a3、b1、b2、b3)會在不同的計算單元之間共享。卷積神經網絡所需要訓練的參數相比全連接神經網絡明顯減少，訓練難度會明顯降低。同時，這樣的結構也符合圖像處理的需要。在傳統的圖像處理方法中，卷積操作往往會被用來提取諸如邊緣、平均亮度等特征，如圖1(d)所示，采用了特定的卷積核來用于檢測邊緣。卷積神經網絡也采用了類似的原理，如圖1(c)所示；不同的是，卷積神經網絡的卷積核是通過機器學習訓練得到的，并且經過多層卷積操作的疊加，能夠描述諸如圓形、多邊形、乃至不規則形狀等圖像特征。

卷積神經網絡被廣泛應用于圖像分類任務。如圖1(e)所示，這樣的網絡大多由兩部分構成：在第一部分中，圖像經過多層卷積網絡和最大值下采樣操作以提取特征；在第二部分中，提取的特征則會經過全連接層生成最終的分類結果。落實到圖像處理任務，一般的方法會以目標像素點為中心，在它周圍區域提取出一張固定大小的圖像，然后對該固定大小的圖像進行分類。然而這種方法存在顯著的缺陷：由于全連接層的存在，輸入圖像必須為特定大小；對所有的像素點進行單獨運算所需要的運算量是極其龐大的，在相鄰像素點的周圍區域的圖像彼此重疊的區域，同樣的卷積運算會被重復進行；此外，因為是對固定大小的周圍區域進行分類，通常卷積神經網絡用于對區域(例如人臉區域)的識別，而不是像素級別的分割。