[發明專利]基于融合多視角特征的投影全卷積網絡三維模型分割方法

有效

• 申請號: 201810235912.5
• 申請日: 2018-03-21
• 公開（公告）號: CN108389251B
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 張巖;水盼盼;王鵬宇;胡炳揚;甘淵;余鋒根;劉琨;孫正興
• 申請（專利權）人: 南京大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/50;G06N3/04
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

本發明公開了基于融合多視角特征的投影全卷積網絡三維模型分割方法，包括：步驟1，對輸入三維網格模型數據集采集數據；步驟2，用融合多視角特征的FCN全卷積網絡對模型投影渲染圖進行語義分割，得到模型在各個視點方向下投影渲染圖的像素被預測為各個標簽的概率；步驟3，對模型在各個視點方向下投影渲染圖語義分割概率圖進行反投并采用最大視角池化，得到模型面片被預測為各個標簽的概率；步驟4，采用Graph Cut圖割算法進行優化，得到模型面片的最終預測標簽。

技術領域

本發明屬于計算機圖像處理和計算機圖形學領域，尤其涉及基于融合多視角特征的投影全卷積網絡三維模型分割方法。

背景技術

近些年，隨著越來越多的3D建模軟件的出現，以及深度傳感器，如Kinect等，被廣泛應用于采集深度數據的平臺上，三維模型數據在互聯網上出現了爆炸式增長，3D模型也出現了大量的表現形式，如點云、體素、面片等。這種趨勢使得3D模型的分析成為了熱點的研究領域。目前，圖像分析領域的研究已經取得了豐碩的成果，深度學習框架的引入更是進一步提升了效果。然而，2D圖像上的卷積操作無法直接應用于3D模型上，使得將深度學習的方法應用于3D模型的分析變得困難重重。因此，大量的3D模型分析方法依賴于手調的描述子提取特征。盡管最近出現了將3D模型數據組織成中間表示形式，如樹、圖等數據結構，使得卷積操作變得可行，然而這種結構很難完整地保持原有的面片或點之間的鄰接關系。此外，這些方法對模型水密性、對齊等的要求則進一步制約了方法的普適性。

雖然3D模型的語義分割問題很基礎，但是它卻十分有挑戰性，有以下幾點原因：

1、屬于同一部件的各種模棱兩可的模型部分必須被正確的標注為同一語義標簽；

2、準確地探測模型部件的邊緣經常需要更細微的幾何信息；

3、局部和全局特征必須被結合起來分析才能實現更好的分割結果；

4、分析方法必須對噪聲、降采樣以及同類模型的多樣性具有魯棒性。

近些年，3D模型的語義分割領域蓬勃發展，出現了無監督的傳統方法和有監督的數據驅動的方法兩大類別。