[發明專利]基于體素和網格表示方式融合的三維形狀分割方法

在審

• 申請號: 202210625850.5
• 申請日: 2022-06-02
• 公開（公告）號: CN115063554A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 舒振宇;劉予琪;隆威;易順;俞若晨;辛士慶
• 申請（專利權）人: 浙大寧波理工學院
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T19/20;G06T7/11
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發明公開了一種基于體素和網格表示方式融合的三維形狀分割方法，提供一個體素編碼器?解碼器架構V?SegNet網絡，訓練一個深度體素網絡，將給定三維對象體素化，然后預測位于給定三維對象形狀內部的每個體素的標簽，最后生成每個三角形面的標簽信息。通過將基于表面的幾何特征提升到封閉的體素，以及以表面?體素?表面方式工作的V?SegNet網絡能夠進一步提高分割性能，基于體素的方法能夠學習形狀的內部空間信息，能夠同時考慮形狀表面的幾何特征及其空間信息，從而更準確地分割每個部分，以獲得更令人滿意的分割結果。

技術領域

本發明涉及計算機圖形應用技術領域，更具體的說是涉及基于體素和網 格表示方式融合的三維形狀分割方法。

背景技術

近年來，互聯網上出現了大量的三維形狀數據，三維形狀的分割已成為 形狀分析中的一項基本任務。這些三維形狀通常由深度傳感器使用多邊形網 格和點云形式的三維幾何表示來獲取。其目的是將三維形狀分割成有意義(語 義)的部分，并標記出來。這些標記的三維對象已被證明對許多計算機圖形 應用程序有著至關重要的作用，例如骨骼跟蹤、骨骼提取、對象檢測、三維 對象重建、三維對象樣式遷移等。現有的三維形狀分割方法主要依賴于手工 標記的幾何描述符。分割的一個常見想法是直接使用手工標記的幾何描述符計算每個面上的幾何特征，然后在特征空間中將它們聚類成幾組，最后將標 簽投射到三維形狀上以獲得最終的分割結果。然而，三維形狀分割任務在許 多方面仍然具有挑戰性，包括細微折痕和邊界之間的模糊性、形狀部分的多 樣性以及局部和整體特征的整合。

為了克服這些挑戰并提高分割性能，開發了兩種技術趨勢，一個趨勢是 使用多個幾何描述符將模型上的面片特征組合在一起，其動機是認為從不同 的角度描述形狀比從單個方面進行分割更好，然而，融合多個不相關的特征 或有效地使用它們仍然具有挑戰性；另一個趨勢是使用基于學習的技術和先 驗知識來改進分割結果，在前人提出的算法中，這些技術被廣泛使用，例如 將目標函數表述為條件隨機場(CRF)模型，使用極限學習機(ELM)作為初始分 割的分類器，訓練卷積神經網絡(CNN)以從低級特征中生成網格表示，等等。 但是，每個網格的語義信息也需要模型各個部分之間的連接和位置信息。僅 通過每個網格的特征描述符很難學習這些信息。因此，一些方法將網格模型 編碼為體素，并應用三維CNN來學習位置特征，但是，一方面，大分辨率的 體素會帶來高計算復雜度，這可能使分割方法無法處理復雜的三維形狀。另 一方面，小分辨率的體素會導致嚴重的信息丟失，從而阻礙分割方法達到令 人滿意的性能。

因此，如何兼顧三維模型各部分之間的連接和位置關系，提高三維模型 分割準確性，同時降低數據處理復雜度是本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本發明提供了一種基于體素和網格表示方式融合的三維形狀 分割方法，結合體素和特征描述符，在分割之前使用體素網格將三維形狀網 格劃分為體素，并為每個體素提供包含網格的特征描述符，得益于使用體素 神經網絡，將形狀表面的幾何特征和三維體素數據作為輸入，考慮了三維模 型的整個形狀，包括表面和內部空間，可以獲得更滿意的分割結果；并且在 三維體素化模型中，由于被表面穿過的體素只占體素空間的一小部分，那些 內部沒有特征向量的體素不參與損失函數的計算，因此能夠降低計算成本并促進收斂。

為了實現上述目的，本發明采用如下技術方案：

基于體素和網格表示方式融合的三維形狀分割方法，包括以下步驟：

步驟1：采集三維網格模型數據；

步驟2：計算三維網格模型中每個面片的幾何特征，獲得每個面片的特征 向量，并對三維網格模型進行體素化；面片一般為三角形；

步驟3：把三維網格模型的每個體素中包含的面片特征向量的平均值作為 該體素的特征向量；

步驟4：構建V-SegNet網絡，并進行網絡訓練；所述V-SegNet網絡由體 素編碼器-解碼器架構和體素殘差塊組成，主框架為基于體素的編碼器-解碼器 架構；