[發明專利]基于融合多視角特征的投影全卷積網絡三維模型分割方法

有效

• 申請號: 201810235912.5
• 申請日: 2018-03-21
• 公開（公告）號: CN108389251B
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 張巖;水盼盼;王鵬宇;胡炳揚;甘淵;余鋒根;劉琨;孫正興
• 申請（專利權）人: 南京大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/50;G06N3/04
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

1.基于融合多視角特征的投影全卷積網絡三維模型分割方法，其特征在于，包括以下步驟：

步驟1，對輸入的三維網格模型數據集采集數據；

步驟2，用融合多視角特征的全卷積網絡FCN對三維網格模型投影渲染圖進行語義分割，得到三維網格模型在各個視點方向下投影渲染圖語義分割概率圖；

步驟3，對三維網格模型在各個視點方向下投影渲染圖語義分割概率圖進行反投并采用最大視角池化，得到三維網格模型面片被預測為各個標簽的概率；

步驟4，采用Graph Cut圖割算法進行優化，得到三維網格模型面片的最終預測標簽；

步驟1包括如下步驟：

步驟1-1，假設輸入單個三維網格模型s以及所有面片所屬部件的標簽集l，從42個固定視點中選擇14個視點，使得三維網格模型s的面片覆蓋率最大；

步驟1-2，在Lambert光照模型下采集步驟1-1獲得的14個視點方向下模型s的投影渲染圖集P＝{p₁,p₂,…p_i,…,p₁₄}，其中p_i指在第i個視點方向下對模型s采集到的投影渲染圖；

步驟1-3，采集14個視點方向下三維網格模型s的面片標簽著色圖G＝{g₁,g₂,…g_i,…,g₁₄}，其中g_i指在第i個視點方向下對模型s采集到的面片真實標簽著色圖，模型的不同部分對應不同的標簽，面片的標簽相同表示這些面片屬于模型的一個部件，將該模型標簽集l中的每一種標簽映射為一種特定的顏色，從而對模型s進行著色渲染；

步驟1-4，采集三維網格模型s的面片號與其在14個視點下被投影到圖像中像素的位置之間的映射關系，為三維網格模型s建立一張映射關系索引表。

2.根據權利要求1所述的方法，其特征在于，步驟1-1包括如下步驟：

步驟1-1-1，對三維網格模型s，其面片集合為F，分別計算42個視點能夠看到的面片集合，選擇能夠看到F中的面片數最多的視點v加入到視點集合V中，同時將視點v能夠看到的所有面片號加入到能被V中視點看到的面片集合M中，將能從v視點方向看到的面片集合從F中剔除；

步驟1-1-2，計算除了視點集合V之外的每一個視點能夠看到的面片集合，選擇能夠看到F中的面片數最多的視點μ加入到視點集合V中，同時將視點μ能夠看到的所有面片號加入到M中，將能從v視點方向看到的面片集合從F中剔除；

步驟1-1-3，重復步驟1-1-2，直至V中的視點數為14時結束。

3.根據權利要求2所述的方法，其特征在于，步驟1-4中，所述索引表t中按照三維網格模型s文件中的面片號順序記錄映射關系，包括每個面片號分別能被多少個視點看到以及對應的視點編號，每個能見視點下該面片被投影到多少個像素上以及這些像素在圖片中的橫坐標和縱坐標，索引表t中的這些數據將用于后續的反投過程。