[發明專利]使用深區域生長來分割圖像中的不規則形狀

在審

• 申請號: 201980033048.3
• 申請日: 2019-05-13
• 公開（公告）號: CN112189217A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: P·杜福特
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/187
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 馬明月

一種確定圖像中感興趣區域的系統。該系統包括一個存儲器和一個電子處理器。包括在系統中的電子處理器連接到存儲器并且被配置為初始化空間點陣的節點的內部狀態。空間點陣的每個節點對應于圖像的像素，并且連接到表示圖像的相鄰像素的至少一個節點。電子處理器還被配置為使用神經網絡，使用空間門控傳播迭代更新空間點陣中每個節點的內部狀態，并基于空間點陣收斂處的節點的內部狀態識別圖像中的感興趣區域。在一個實施例中，電子處理器被配置為創建用于圖像的圖像金字塔。

技術領域

本文描述的實施例涉及分割圖像，諸如生物醫學圖像，并且特別地，使用在時間和空間兩者上對數據傳播進行門控的神經網絡來分割圖像。

發明內容

本文描述的實施例涉及一種新型神經網絡單元，其組合了循環神經網絡(RNN)和卷積神經網絡(CNN)中使用的原理。RNN接收輸入序列，并一次讀取和處理序列的一個元素。當RNN處理序列中的每個元素時，RNN修改其關于序列的知識，該知識被存儲在RNN的內部狀態中。RNN使用一些或全部內部狀態來輸出第二序列或在其已經讀取全部輸入序列之后進行單個預測。RNN的一個例子是包括一個或多個LSTM細胞的長期短期記憶(LSTM)神經網絡。每個LSTM單元存儲該單元的先前狀態，其可以被提供給LSTM神經網絡的其他組件。每一LSTM單元包括輸入門、遺忘門和輸出門。LSTM被引入以解決與消失梯度相關的RNN訓練的問題。

CNN將濾波器(核)應用于輸入(例如，圖像)以進行關于輸入的預測。在一個示例中，預測是圖像屬于類別集合中的哪個類別。濾波器對應于可以在輸入圖像中找到的特征。例如，當圖像被輸入到CNN時，濾波器被應用于輸入圖像中的相鄰像素塊，以產生中間圖像，該中間圖像指示在圖像中的每個位置處每個特征被表示的強度有多強。特征的內容由與該特征相關聯的過濾器的權重來指示。權重乘以包括在每個相鄰像素塊中的像素。例如，如果對CNN的輸入是手寫數字，則CNN將手寫數字分類為屬于多個類別之一(在這種情況下，類別是數字1-9)。CNN對手寫數字的分類是基于CNN被發現與該數字相關聯的圖像的特征以及這些特征指示手寫數字是數字1-9之一的強度。

本文描述的實施例涉及生物醫學圖像分割。生物醫學圖像分割涉及識別圖像中，特別是醫學圖像中的對象的邊界。區域生長先前被用于識別圖像中的對象。隨著區域增長，種子像素被放置在感興趣對象內的某處。一旦放置在圖像中，種子像素就被重復地擴展到具有相似強度或亮度的相鄰像素。當到達對象的邊界時，像素的擴展停止。在區域生長中，邊界可以由低于閾值強度或亮度的下降來限定。

區域增長的一個問題是，即使與醫學圖像中的相鄰亮像素的微小連接也可能導致該區域擴展到感興趣對象之外。例如，如果如圖1所示，兩個亮組織區域(一個組織區域位于肺內，一個組織區域位于肺外)由小的明亮組織片段連接，區域生長將不正確地顯示屬于相同質量或對象的兩個明亮組織區域。因此，通常丟棄區域生長以支持更復雜的方法，例如水平集、條件隨機場(CRF)、活動輪廓和圖形切割。

CNN丟棄像素相鄰性的首要因素。相反，CNN識別具有規律性的對象。具有規律性的對象允許CNN被訓練來將對象分類為對象類型。然而，CNN可能不能準確地辨別和分割不規則的形狀，諸如腫瘤塊、病變等。因此，CNN通常不能準確地確定醫學圖像中的不規則形狀的邊界，諸如在幾何形狀、強度等方面變化的形狀。

因此，本文描述的實施例響應于用于識別不規則形狀的感興趣對象的邊界的先前解決方案，提供了針對上述問題的技術解決方案。具體地，本文描述的實施例將CNN的空間連接性與RNN中使用的時間門控相結合，以提供用于分割圖像中的不規則結構的更智能的方法。特別地，本文描述的實施例提供了一種用于基于表示與正被分類的像素相鄰的像素的節點的先前內部狀態和當前值來對圖像中的像素進行分類的新型單元。這種新型單元在此被稱為門控時空單元，其是具有通常與CNN相關聯的空間感知的門控循環單元。例如，在每個時間步，每個節點決定是否用其先前內部狀態的值或其相鄰節點之一的內部狀態來更新其內部狀態。