[發明專利]一種融合感知信息的協同分割方法

有效

• 申請號: 201610124141.3
• 申請日: 2016-03-04
• 公開（公告）號: CN105740915B
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 于慧敏;楊白
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/11
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種融合感知信息的協同分割方法，其特征在于，包含以下步驟：

(1)圖像預分割：對于包含共同目標物體的圖像數據集I＝{I₁,…,I_N}中的每一幅圖像I_i，i＝1,2……,N，進行過分割處理，得到超像素集

(2)融合感知信息的協同分割能量模型構造：將基于組合優化框架的能量模型表示為如下：

式中：為前景似然項，用于估計某特定區域屬于前景的可能性；為背景似然項，用于估計某特定區域屬于背景的可能性；區域和為任意超像素或超像素組合；當且僅當區域屬于前景，當且僅當區域屬于背景，第一項約束表示對于任意一個超像素其僅能夠屬于前景或背景中的一類，明確了分割的物理意義；

(3)協同分割能量模型的優化求解：利用前景似然項和背景似然項采用組合優化的算法對超像素進行前背景的再次分類，從而得到目標物體的最終分割；提出基于感知的結構化森林框架，即假設每個超像素對應于一個頂點，對于單目標分割，最后的分割結果由多個鄰接的超像素構成，且能夠表示為鄰接圖的子樹；對于多目標分割，最后的分割結果可表示為鄰接圖的多個子樹構成的森林；通過建立鄰接圖根據基于感知的定向搜索方法，生成子樹集合并推斷最優子樹與最優森林的方法確定最后的分割結果。

2.根據權利要求1所述的方法，其特征在于：步驟2具體為：

(2.1)在協同分割的情景下，定義前景似然項融合前景模型與感知信息，具體可表示為：

其中，返回區域的前景似然值，值越大表明區域屬于前景的可能性越大；定義為區域對應的感知信息項，由區域的顯著性、重復性度量值以及空間位置信息共同決定；M^F為前景模型，度量區域與前景模型的相似程度；

(2.1.1)定義前景模型M^F：采用HSV顏色直方圖與空間金字塔匹配模型的線性組合作為前景模型，且定義M^F為參數函數：可表示為：

其中HSV顏色直方圖通過將H,S,V三個顏色通道分別等分為32、12、12個等分區間，并加入12等分區間的“灰度通道”來描述目標物體，各通道的權重相等；對于空間金字塔匹配模型，使用300個HSV SIFT視覺詞的參數設定；

(2.1.2)定義感知信息項：采用融合區域視覺顯著性特征、區域重復性特征以及區域空間位置信息的感知信息項，對于區域感知信息項可表示為：

式中，分別為歸一化至[0,1]后的區域顯著性值、區域重復性值和區域空間位置信息值；參數α、β和γ分別為控制上述特征值權重的參數，取α＝1，β＝1，γ＝0.5；

(2.1.2.1)定義區域顯著性值：對于圖像I_i及超像素集合首先通過顯著性檢測技術得到原始顯著性圖θ_i，然后計算每個超像素的平均顯著性值如下：

式中，θ_ij表示像素j處的顯著性值，area(s_m)表示超像素s_m中包含的像素個數；基于每個超像素s_m的平均顯著性值θ_im，進一步可計算區域的平均顯著性值，

對進行基于圖像集范圍的歸一化處理后，得到

(2.1.2.2)定義區域重復性值：為了利用共同物體在多張圖像中重復出現這一先驗信息，通過度量不同圖像中任意兩個超像素的相似程度來判斷那些頻繁出現的超像素，并認為這些超像素具有較大可能性屬于共同物體；對于超像素特征提取，采取高維特征矢量描述；顏色特征采取矢量量化的HSV顏色描述子；對于紋理信息，采取密集采樣的SIFT視覺詞袋描述得到；令c_m和g_m分別表示超像素s_m的HSV顏色特征矢量和SIFT特征矢量；對于圖像I_i中任意超像素s_m，計算其與其余圖像I_k中最相似的超像素s_m′的距離如下：

其中c_m′和g_m′為圖像I_k中的超像素s_m′的HSV顏色特征矢量和SIFT特征矢量；根據上式，可得對I_i中任意s_m，均有N-1個距離值{d(s_m,I_k)}_k≠i與之對應，對其中最小的一半距離值求平均得到對于包含有一個或多個超像素的區域利用每個超像素s_m對應的距離以及像素數量權重求加權平均值來估計區域的相似度距離

最后采用s型函數(sigmoid function)定義區域的重復性值：

其中，μ和σ用于控制s型函數的形態，取μ＝0.35，σ＝0.15可得理想結果；對進行歸一化后可得

(2.1.2.3)定義區域空間位置信息：在自然圖片中，前景物體與背景在圖像中的空間位置分布有著明顯的差異，目標物體區域與圖像邊界的連通性比背景區域明顯偏弱；基于這一事實，首先將圖像規則地分割為矩形塊j，然后采用一種連通性度量來引入這一區域空間位置信息，

為區域中的與邊界接觸的塊數量與圖像塊總數根式的比值；對降序排序后歸一化至區間[0,1]，最大值對應到0，即可得

3.根據權利要求1所述的方法，其特征在于：步驟3具體為：

(3.1)構建鄰接圖：假設圖像中的每個超像素對應于圖中的一個頂點，兩個相鄰的超像素之間由一條邊連接，由此構成鄰接圖對于最終的目標物體分割結果，假設其為鄰接圖所包含的多個子樹構成的森林；

(3.2)推導最大生成樹：通過推導可得，若要求解分割結果，實際上可轉換為求解最優子樹集合的方法，而要求最優子樹集合，需要先估計最大生成樹；通過基于感知的定向搜索方法來得到所有可能的候選子樹集合基于候選子樹集合通過最大似然估計的方法得到最大生成樹推導如下：

表示所有潛在的生成樹集合，表示數據似然概率，最終可導出，

為候選子樹集合，為某一子樹，表示對的最大似然估計，δ(·)為指示函數，δ((x,y)∈C_q)指示邊(x,y)是否屬于某一子樹C_q；為子樹C_q與前景似然的相似程度，P(x,y)表示邊(x,y)的生成概率，為對P(x,y)的最大似然估計；通過上式可得最大生成樹的最大似然估計；

(3.3)搜索分割子樹集合：基于最大生成樹的最大似然估計求得然后通過動態規劃技術在中搜索得到最優子樹集合，具體實現步驟如下：

(3.3.1)對于圖像I_i，通過對每個超像素計算對應的前景似然值，取最大值的0.6倍作為閾值，將高于閾值的超像素設置為種子超像素，得到種子超像素集然后根據每個種子超像素與前景似然的相似程度進行由高到低排序，得到

(3.3.2)選取最接近前景似然的超像素s¹作為起始節點，以此推斷最大生成樹并得出相應的最優子樹及其對應的分割結果判斷此分割結果與前景似然的相似程度：如果相似程度符合條件則認為分割結果有效，否則將設置為空集，且將分割結果區域內包含的錯誤種子超像素反饋至進行刪除更新；

(3.3.3)遍歷集合找出在之前的最優子樹所對應的分割結果區域以外是否存在種子超像素s^k，若存在則重復以上的步驟得到分割結果同理進行與前景似然的相似度判斷與后續處理，更新分割結果和種子超像素集合；在完成對種子超像素集合的全部遍歷后，得到最終針對圖像I_i的分割結果和更新后的種子超像素集合并根據這些信息完成前景似然的更新以及種子超像素約束信息的更新，從而使模型的估計更為接近真實場景中存在的變化情況并排除錯誤的種子超像素，隨后開始下一次的迭代，直至最終分割結果不再變化，即得到最終的分割結果。