[發明專利]一種基于投影卷積網絡的三維形狀分割及語義標記方法

在審

• 申請號: 201710025755.0
• 申請日: 2017-01-13
• 公開（公告）號: CN106803256A
• 公開（公告）日: 2017-06-06
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于投影卷積網絡的三維形狀分割及語義標記方法，其特征在于，主要包括數據輸入(一)；完全卷積網絡(FCN)模塊(二)；圖像表面投影層(三)；表面條件隨機域(CRF)模塊(四)；訓練(五)。

2.基于權利要求書1所述的數據輸入(一)，其特征在于，輸入采用多邊形網格的三維形狀表示，作為預處理，形狀表面通過均勻分布點采樣(這里采用1024個)；確定緊湊的信息點，最大限度地覆蓋形狀表面，對于每一個信息點，在一個二值圖像的透視投影下，每個角度的形狀光柵化，信息點的覆蓋范圍的測量作為可見的表面點的片段，對形狀進行渲染。

3.基于權利要求書2所述的最大限度覆蓋形狀表面，其特征在于，通過從圖像中聚合表面點引用來估計，對于每一個的尺寸，最大覆蓋的信息點插入到列表中，然后重新估計覆蓋在這個規模，選擇信息點覆蓋了省略點，與下一個大范圍的信息點添加到列表；重復該過程，直到所有表面點在此規模被覆蓋。

4.基于權利要求書2所述的渲染，其特征在于，確定信息點收集，渲染形狀為陰影圖像和深度圖像，對于每一個信息點，放置一個攝像頭指向的表面點用于生成這種信息點，并旋轉向量4次，每次90度(即使用4個平面內旋轉)，這4個旋轉，渲染陰影和深度圖像，連接成一個雙通道圖像，這些圖像被饋送作為輸入到圖像網絡處理模塊(FCN)，柵格化形狀到另一個圖像，每個像素存儲多邊形ID，投影最接近的像素中心，這些圖像稱為“表面參考”的圖像，被饋送到網絡的“投影層”。

5.基于權利要求書1所述的FCN模塊(二)，其特征在于，在上一步產生雙通道圖像，經相同圖像的全連接網絡(FCN)模塊，對于每個輸入圖像每個函數模塊輸出L置信圖，大小為768×768，其中L是部分標簽數量，由于輸入是一個2通道的圖像，使用2通道3×3過濾器，適應這些過濾器來處理灰度而不是彩色圖像，上采樣置信圖大小768×768通過轉置卷積層(“去卷積”)，置信度通過CRF層轉換成概率。

6.基于權利要求書1所述的圖像表面投影層(三)，其特征在于，這一層的目標是聚合多個視圖的置信度圖，并將結果投影到三維表面上；位置和最佳角度的數量和形狀都不同，且無規則，給定輸入形狀s的輸入圖像M_s，L從FCN模塊提取的置信圖疊成一個M_s×768×768×L圖像，投影層作為輸入這四維圖像，這層輸出F_s×L列，其中F_s是形狀s的多邊形數，投影是通過視圖池操作完成的，對于每個表面多邊形f和部分類別標簽l，分配置信度P(f，l)等于在所有像素和輸入圖像映射到該多邊形根據表面參考圖像的最大標簽的置信度，投影操作公式為：

$\tilde{C}(f,l)={\max }_{\underset{I\left(m,i,j\right)=f}{\∀m,i,j:}}C(m,i,j,l)---\left(1\right)$

C(m,i,j,l)是圖像m的像素(i,j)的標簽l的置信度，I(m,i,j)儲存相應的參考圖像m像素(i,j)多邊形ID；是標記多邊形f的標簽l的輸出置信度。