[發(fā)明專利]一種基于投影卷積網(wǎng)絡的三維形狀分割及語義標記方法

在審

• 申請?zhí)枺?/td>: 201710025755.0
• 申請日: 2017-01-13
• 公開（公告）號: CN106803256A
• 公開（公告）日: 2017-06-06
• 發(fā)明（設(shè)計）人: 夏春秋
• 申請（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分割領(lǐng)域，尤其是涉及了一種基于投影卷積網(wǎng)絡的三維形狀分割及語義標記方法。

背景技術(shù)

三維形狀分割成標記的語義得到廣泛的應用，常用于機器人技術(shù)和虛擬現(xiàn)實技術(shù)，如三維形狀、跨模態(tài)分析、圖像目標檢測、圖像三維重建和三維對象的風格轉(zhuǎn)換等等，根據(jù)部分的形狀和種類，進行相應的分割和語義標記，現(xiàn)有的三維幾何形狀數(shù)據(jù)語義推理技術(shù)大多依賴于啟發(fā)式處理階段和人工調(diào)整幾何描述符，且分割邊界的線索非常細微，需要對噪點有較強的魯棒性，易產(chǎn)生嚴重閉塞，影響分割邊界的連貫性和完整性。

本發(fā)明提出了一種基于投影卷積網(wǎng)絡的三維形狀分割及語義標記方法，輸入采用多邊形網(wǎng)格的三維形狀表示，信息點大限度地覆蓋形狀表面，渲染形狀為陰影圖像和深度圖像，產(chǎn)生雙通道圖像，經(jīng)相同圖像的全連接網(wǎng)絡(FCN)模塊，對于每個輸入圖像每個函數(shù)模塊輸出置信圖，圖像表面投影層聚合多個視圖的置信度圖，結(jié)合邊界線索進行表面條件隨機域CRF傳播，對任務各模塊進行訓練，最終獲得分割語義標記結(jié)果。本專利不需要利用任何人工調(diào)整幾何描述符，減少閉塞和覆蓋形狀表面，不會丟失顯著部分標簽，有效地關(guān)聯(lián)信息，閉塞的部分也被標記，保證了分割的完整性和連貫性，方法顯著優(yōu)于以前的方法。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供一種基于投影卷積網(wǎng)絡的三維形狀分割及語義標記方法，其主要內(nèi)容包括：數(shù)據(jù)輸入(一)；完全卷積網(wǎng)絡(FCN)模塊(二)；圖像表面投影層(三)；表面條件隨機域(CRF)模塊(四)；訓練(五)。

其中數(shù)據(jù)輸入(一)，輸入采用多邊形網(wǎng)格的三維形狀表示，作為預處理，形狀表面通過均勻分布點采樣(這里采用1024個)；確定緊湊的信息點，最大限度地覆蓋形狀表面，對于每一個信息點，在一個二值圖像的透視投影下，每個角度的形狀光柵化，信息點的覆蓋范圍的測量作為可見的表面點的片段，對形狀進行渲染。

進一步地，最大限度覆蓋形狀表面，通過從圖像中聚合表面點引用來估計，對于每一個的尺寸，最大覆蓋的信息點插入到列表中，然后重新估計覆蓋在這個規(guī)模，選擇信息點覆蓋了省略點，與下一個大范圍的信息點添加到列表；重復該過程，直到所有表面點在此規(guī)模被覆蓋。

進一步地，渲染確定信息點收集，渲染形狀為陰影圖像和深度圖像，對于每一個信息點，放置一個攝像頭指向的表面點用于生成這種信息點，并旋轉(zhuǎn)向量4次，每次90度(即使用4個平面內(nèi)旋轉(zhuǎn))，這4個旋轉(zhuǎn)，渲染陰影和深度圖像，連接成一個雙通道圖像，這些圖像被饋送作為輸入到圖像網(wǎng)絡處理模塊(FCN)，柵格化形狀到另一個圖像，每個像素存儲多邊形ID，投影最接近的像素中心，這些圖像稱為“表面參考”的圖像，被饋送到網(wǎng)絡的“投影層”。

其中，F(xiàn)CN模塊(二)，在上一步產(chǎn)生雙通道圖像，經(jīng)相同圖像的全連接網(wǎng)絡(FCN)模塊，對于每個輸入圖像每個函數(shù)模塊輸出L置信圖，大小為768×768，其中L是部分標簽數(shù)量，由于輸入是一個2通道的圖像，使用2通道3×3過濾器，適應這些過濾器來處理灰度而不是彩色圖像，上采樣置信圖大小768×768通過轉(zhuǎn)置卷積層(“去卷積”)，置信度通過CRF層轉(zhuǎn)換成概率。

其中，圖像表面投影層(三)，這一層的目標是聚合多個視圖的置信度圖，并將結(jié)果投影到三維表面上；位置和最佳角度的數(shù)量和形狀都不同，且無規(guī)則，給定輸入形狀s的輸入圖像M_s，L從FCN模塊提取的置信圖疊成一個M_s×768×768×L圖像，投影層作為輸入這四維圖像，這層輸出F_s×L列，其中F_s是形狀s的多邊形數(shù)，投影是通過視圖池操作完成的，對于每個表面多邊形f和部分類別標簽l，分配置信度P(f，l)等于在所有像素和輸入圖像映射到該多邊形根據(jù)表面參考圖像的最大標簽的置信度，投影操作公式為：

C(m,i,j,l)是圖像m的像素(i,j)的標簽l的置信度，I(m,i,j)儲存相應的參考圖像m像素(i,j)多邊形ID；是標記多邊形f的標簽l的輸出置信度。

其中，表面CRF(四)，一些小的表面區(qū)域可能是高度封閉的，因此未觀測到所有選定的信息點，或不包括在任何參考圖像中，任何這樣的多邊形，標簽的置信度都設(shè)置為零，正確的標簽將通過在投影層之后的條件隨機域(CRF)層傳播；此外，由于采樣的函數(shù)模塊，有可能在表面凸起或凹陷，可能是分割邊界，需要結(jié)合表面邊界線索進行CRF操作。