[發明專利]一種RGB?D圖像變尺度超體素分割方法

在審

• 申請號: 201710168730.6
• 申請日: 2017-03-21
• 公開（公告）號: CN106997591A
• 公開（公告）日: 2017-08-01
• 發明（設計）人: 袁夏;徐鵬;周宏揚
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/90
• 代理公司: 南京理工大學專利中心32203
• 代理人: 馬魯晉

1.一種RGB-D圖像變尺度超體素分割方法，其特征在于，包括以下步驟：

步驟1、種子點選取，設一幀RGB-D圖像數據為P，分辨率為m行n列，每個數據點的信息包含3個顏色通道(r,g,b)和1個深度通道(d)；從P中隨機選取一個點p₀(數字0為下標)作為初始種子點，設置半徑閾值R作為待生成種子點間的最小距離，使用泊松碟采樣算法在P中采樣得到種子點集合；

步驟2、對超體素進行預分割，將數據中各點的顏色空間從RGB轉換為Lab，將深度值d轉換為三維空間坐標(x,y,z)，之后以各種子點為聚類中心，綜合顏色距離和三維空間距離迭代計算非種子點與種子點間的距離，得到初始超體素分割結果；

步驟3、對超體素進行融合，以初始超體素為頂點，各超體素間鄰接關系為邊構造無向圖G＝(V,E)，使用各初始超體素的Lab顏色空間距離和法向量方向夾角度量相鄰超體素間的差異，通過合并初始超體素得到變尺度超體素，完成了對RGB-D圖像變尺度超體素的分割。

2.根據權利要求1所述的RGB-D圖像變尺度超體素分割方法，其特征在于，步驟1中種子點選取具體包括以下步驟：

步驟1-1、在一幀RGB-D圖像數據P中隨機選取一個點p₀作為初始種子點，將活躍采樣點隊列L₁初始化為空，把p₀加入L₁，將非活躍采樣點隊列L₂初始化為空；

步驟1-2、判斷活躍采樣點隊列L₁是否為空，如果L₁不為空，則從L₁中出隊一個點p_i，以p_i為圓心，R和2R為半徑的同心圓區域內隨機選擇候選采樣點，若候選采樣點與已有種子點的距離大于R則將其加入L₁；如果嘗試K次仍沒有符合條件的候選采樣點，則將p_i從L₁中刪除，并加入L₂；其中R采用像素坐標單位，K為預設的數值；

步驟1-3、L₂中的點即為所選種子點。

3.根據權利要求1或2所述的RGB-D圖像變尺度超體素分割方法，其特征在于，步驟2中對超體素預分割具體包括以下步驟：

步驟2-1、將RGB-D圖像中點的深度值轉換為三維空間坐標，設P中第i行第j列的點為p_ij，其深度值為d_ij，使用式(1)將深度值轉換為三維空間坐標：

$p_{ij}{(x,y,z)}^T=d_{ij}{(\frac{i-c_x}{f},\frac{j-c_y}{f},1)}^T---\left(1\right)$

其中f為攝像機的焦距，(c_x,c_y)為圖像的中心坐標，用標準的顏色空間轉換公式將P中各點的RGB顏色轉換為Lab顏色，將P中的點都表示為6維向量[l,a,b,x,y,z]；

步驟2-2、以步驟1得到的個種子點為初始聚類中心，進行區域搜索聚類，計算各聚類中心2R*2R鄰域范圍內的點與該聚類中心的距離，將每一個非聚類中心點歸類于和它特征距離最小的聚類中心以完成第一次聚類過程，P中兩點p_i和p_j之間的特征距離度量公式如下：

$D(p_i,p_j)=d_{lab}+\mathrm{\λ}\frac{d_{xyz}}{R}---\left(2\right)$

$d_{lab}=\sqrt{{(l_i-l_j)}^2+{(a_i-a_j)}^2+{(b_i-b_j)}^2}---\left(3\right)$

$d_{xyz}=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2+{(z_i-z_j)}^2}---\left(4\right)$

式(2)中，d_lab為顏色距離，d_xyz為空間距離，λ為用于決定顏色信息和空間距離信息的權重，λ越大空間距離越重要，λ越小顏色距離越重要；

步驟2-3、迭代聚類過程，根據步驟2-2第一次聚類的結果，重新計算每個類的聚類中心；新的聚類中心特征值為每一類所有點特征的平均值，然后在一類中尋找與新的聚類中心特征值最接近的點作為新的聚類中心點，按照2-2中特征距離計算和歸類方法重新計算各非聚類中心點所屬類別；迭代k次結束；迭代計算結束后，每一類中的點即形成一個初始超體素。

4.根據權利要求1所述的三維點云點法向量估計方法，其特征在于，步驟3中超體素融合，具體包括以下步驟：

步驟3-1、設初始分割的得到的超體素集合為C，每個超體素為c_i，以超體素c_i為頂點v_i建立頂點集合V，有公共邊界的相鄰超體素v_i，v_j間建立邊e_ij形成邊集E，以V和E構建無向圖G；根據P中點的三維空間坐標，使用標準的k近鄰點坐標協方差矩陣主成分分解方法計算各點的法向量，然后用式(5)給G的每條邊賦以權值w(v_i,v_j)

$w(v_i,v_j)=\mathrm{\α}\frac{|{\stackrel{\‾}{l}}_i-{\stackrel{\‾}{l}}_j|}{l_{max}}+(1-\mathrm{\α})\frac{{\mathrm{\θ}}_{ij}}{\mathrm{\π}}---\left(5\right)$

${\mathrm{\θ}}_{ij}={\cos }^{-1}\left(\frac{{\stackrel{\→}{n}}_i\·{\stackrel{\→}{n}}_j}{\left|{\stackrel{\→}{n}}_i\right|\left|{\stackrel{\→}{n}}_j\right|}\right)---\left(6\right)$

其中，l_max分別為超體素c_i中所有點的平均亮度和最大亮度，θ_ij為超體素c_i和c_j的法向量夾角，超體素的法向量取為該超體素中所有點的法向量均值，α為權重因子；

步驟3-2、對初始超體素進行合并，將合并前各超體素初始化為一個區域A_i，v_k和v_l是區域A_i中的兩個超體素，定義內部不相似度為該區域最小生成樹的最大邊，如式(7)所示

Int(A_i)＝max w(v_k,v_l),v_k,v_l∈A_i,(v_k,v_l)∈E(7)

用式(8)定義兩個區域A_i和A_j的外部不相似度，其中v_m是區域A_i中的超體素，v_n是區域A_j中的超體素

Dif(A_i,A_j)＝min w(v_m,v_n),v_m∈A_i,v_n∈A_j,(v_m,v_n)∈E (8)

MInt(A_i,A_j)為A_i和A_j這兩個區域的最小內部不相似度，之后用式(9)計算

MInt(A_i,A_j)＝min((Int(A_i)+τ(A_i)),(Int(A_j+τ(A_j)))(9)

其中τ(A_i)＝e/|A_i|，|A_i|為區域A_i包含點的個數，e為設定的常數；

之后對兩個區域的外部不相似度和內部不相似度進行比較，如果滿足式(10)則合并這兩個區域，否則不合并

MInt(A_i,A_j)<Dif(A_i,A_j) (10)

區域合并過程一直進行到P中的區域沒有可以合并的為止，得到變尺度超體素。