[發明專利]基于RGB-D圖像的室內場景布局估計及目標區域提取方法

有效

• 申請號: 201710442910.9
• 申請日: 2017-06-13
• 公開（公告）號: CN107369158B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 吳曉秋;霍智勇
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/13;G06T7/50;G06K9/00
• 代理公司: 南京知識律師事務所 32207
• 代理人: 張芳

1.基于RGB-D圖像的室內場景布局估計及目標區域提取方法，其特征在于：包括以下步驟，

步驟1、場景布局估計：將深度圖轉化為密集3D點云，通過計算點云間的三維歐式距離進行平面分割劃分平面區域與非平面區域，并將所得平面區域進行分類，分為邊界平面與非邊界平面；

步驟2、圖像過分割：利用基于圖的分割算法與約束參數最小割算法對預處理后的深度圖與RGB圖做過分割，得到不同大小的區域集合；

步驟3、過分割層次分組：利用顏色、紋理、尺寸、吻合四種不同的相似度衡量方式進行區域合并以完成區域層次分組，獲取所有尺度大小的目標區域；

步驟4、目標邊界框匹配：對于平面區域的目標，邊界平面區域都直接被采用，對每一個非邊界平面，找到它的邊界點計算與其他非邊界平面的最小歐式距離，將距離小于一定閾值的平面拼合起來，采用拼合后的非邊界平面區域，位于平面區域的目標，只保留由RGB圖像產生的目標區域；對于非平面區域的目標，除了與非平面區域重疊面積過小的目標區域以外，其他目標區域都直接被采用，將所有采用的目標區域轉換為遮罩，對這些遮罩一一匹配包含遮罩在內的最小矩形邊界框，得到邊界框。

2.根據權利要求1所述的基于RGB-D圖像的室內場景布局估計及目標區域提取方法，其特征在于：步驟1具體過程為，

步驟1.1、平面分割：在深度圖上進行一致性采樣得到三角點集，對于其中的每個三角點組采用RANSAC算法匹配一個候選平面；然后在3D點云空間搜尋平面內點，當一個點到該平面的三維歐氏距離小于內點距離公差D_tol時，定義該點為平面的內點，內點距離公差D_tol計算如式(1)；最后移除內點細小平面，并拼合空間上相近或者接近共面的平面；

式中，f為焦距，b為傳感器的基線長度，m為線性歸一化參數，Z代表深度值；

步驟1.2、平面分類：根據得到的主要平面區域，假設平面的法線向量面向觀察者，計算在平面另一面的點云數與整個場景的點云總數量之比，將小于閾值的平面分類為邊界平面，大于閾值的平面分類為非邊界平面。

3.根據權利要求1所述的基于RGB-D圖像的室內場景布局估計及目標區域提取方法，其特征在于：步驟2具體過程為，

步驟2.1、基于RGI顏色空間的分割：將RGB三通道圖像轉換為歸一化RG通道加上亮度I通道，即RGI顏色空間，然后采用基于圖的分割方法對RGI圖像做過分割；

步驟2.2、基于同態濾波后的灰度圖的分割：對RGB圖像加上同態濾波處理，對處理后輸出的灰度圖采用基于圖的分割方法進行過分割；

步驟2.3、基于空洞填補后的深度圖的分割：利用全局優化著色方法對深度圖進行空洞填補，采用基于圖的分割方法對填補后的深度圖進行過分割；

步驟2.4、基于RGB-D混合通道的分割：采用約束參數最小割的前景分割方法，結合RGB圖像信息與深度信息，對RGB-D混合通道的圖像進行過分割，基于式(2)的能量公式：

式中λ∈R，v是所有像素點的集合，ε為相鄰像素間的邊緣集合，C_λ為代價函數，給每個像素賦予標簽時都會產生一個代價，二元勢函數V_μv作為懲罰函數，當給相似的相鄰像素賦予不同的標簽時，就會產生一個懲罰值。

4.根據權利要求1所述的基于RGB-D圖像的室內場景布局估計及目標區域提取方法，其特征在于：步驟3具體過程為，

步驟3.1、計算出所有兩兩相鄰區域的相似度集合，找出相似度最大的兩個區域r_i和r_j，將其合并為一個新區域r_t，添加到區域集合中；

步驟3.2、從相似度集合中移除r_i和r_j與其相鄰區域的相似度，計算新區域r_t與其相鄰區域的相似度，添加到相似度集合中；

步驟3.3、重復步驟3.1～3.2，直到整張圖像成為一個大區域，完成圖像的層次分組，獲取所有尺度大小的目標區域。

5.根據權利要求1所述的基于RGB-D圖像的室內場景布局估計及目標區域提取方法，其特征在于：步驟4具體過程為，

步驟4.1、對于平面區域，邊界平面區域都直接被采用；對每一個非邊界平面，找到它的邊界點計算與其他非邊界平面的最小歐式距離，將距離小于閾值的平面拼合起來，采用拼合后的非邊界平面區域；而位于平面區域的目標，只保留由RGB圖像產生的目標區域；

步驟4.2、對于非平面區域，除了與非平面區域重疊面積過小的目標區域以外，其他目標區域都直接被采用；

步驟4.3、匹配目標邊界框：將所有采用的目標區域轉換為遮罩，對這些遮罩一一匹配包含遮罩在內的最小矩形邊界框，然后去除細小邊界框，并將邊界框按面積大小排序，由上至下重復計算邊界框間的交疊率，濾去交疊率大于一定閾值的邊界框，得到最后的目標區域邊界框。