[發明專利]一種基于文本的三維體素模型生成方法

有效

• 申請號: 202110717686.6
• 申請日: 2021-06-28
• 公開（公告）號: CN113434918B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 余月;楊越;李博聞
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F30/10
• 分類號: G06F30/10;G06F30/27;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 鄔曉楠

本發明公開的一種基于文本的三維體素模型生成方法，屬于從文本到三維體素模型的跨模態生成領域。本發明通過文本編碼器將自然語言處理為計算機能夠理解的文本向量；通過條件生成對抗網絡框架使生成器獲得生成匹配文本描述模型的能力；通過重建模型標簽的判別器，指導生成器訓練生成更為精致的模型；通過使生成器在不同階段生成不同分辨率下的三維體素模型，將三維體素模型傳遞給不同階段的判別器，并對其結果進行聯合訓練，使生成器能夠應對高分辨率模型生成任務且生成模型更精致；通過在高分辨率模型判別器中加入局部判別器提升其處理高數據量及模型細節能力，提升三維體素模型生成結果的精致度和分辨率。本發明具有適用性廣、生成效果好的優點。

技術領域

本發明涉及一種基于文本生成彩色三維體素模型的方法，屬于從文本到三維體素模型的跨模態生成領域。

背景技術

近年來，隨著計算機技術的高速發展，計算機圖形學及虛擬現實等技術在生產生活中越發普及，三維模型的應用場景大幅增加，人們對于彩色三維模型的制作需求也隨之大幅提升，其在生產生活中具有十分大量的應用場景，如3D游戲，家具設計，設計型教育資源可視化等。然而現階段的三維模型制作工作高度依賴于CAD等模型構建工具及制造者的建模能力，這種能力在社會中并不普及，人們也沒有能力對其進行批量生產，這導致了生產三維模型這一工作十分低效。如何利用現有的三維模型數據集，訓練出可以自動化建模的三維模型構建工具已經成為了一個重要的研究方向。

目前的基于文本的三維模型獲取方法通常為關鍵詞檢索法，但這種檢索的方式的缺點也十分明顯。其準確度過分的依賴于標簽的準確度以及標注方法的準確度上，且數據標注過程中產生的錯誤會在后續的數據標注中被放大。其次，此方法需要大量的模型數據來支持，并且無法自由的根據需求操作模型且生成結果只能是已存在的模型，在需要有創造性的工作中此方法將表現極差。

《Text2Shape》是第一篇提出基于文本的三維模型生成解決方案的論文。該文首次在基于文本的三位彩色體素模型生成任務上提出了一種解決方案。此論文首先以聯合嵌入的方法對文本描述和彩色三維模型進行訓練來獲得一種文本編碼方案。其作者將此Wasserstein-GAN相結合，實現了從文本中生成彩色的三維模型的目的。此論文是第一個給出將自然語言文本與在顏色、紋理和形狀細節上表現出豐富變化的真實三維對象相連接的方法的研究。

然而此研究目前還處于起步階段，有著大量的問題需要被解決，其中有兩個比較明顯。所述兩個問題分別為如何生成更加優質的模型以及如何保證模型優質的同時生成更高分辨率下的模型。

發明內容

針對生成的三維體素模型生成不夠精致且分辨率較低的問題，本發明公開的一種基于文本的三維體素模型生成方法要解決的技術問題是：通過文本編碼器將自然語言處理為計算機能夠理解的文本向量；通過條件生成對抗網絡框架使生成器獲得生成匹配文本描述模型的能力；通過重建模型標簽的判別器，指導生成器訓練生成更為精致的模型；通過使生成器在不同階段生成不同分辨率下的三維體素模型，將所述三維體素模型傳遞給不同階段的判別器，并對其結果進行聯合訓練，使生成器能夠應對高分辨率模型生成任務且生成模型更精致；通過在高分辨率模型判別器中加入局部判別器提升其處理高數據量及模型細節能力，提升三維體素模型生成結果的精致度和分辨率。本發明具有適用性廣、生成效果好的優點。本發明將從文本生成的三維體素模型用于跨模態生成領域中，解決相關工程技術問題。

所述相關工程技術問題包括多媒體教育資源構建、三維體素模型編輯和計算機教學輔助。

本發明的目的是通過下述技術方案實現的。