[發明專利]基于文本信息引導的三維模型自動建模方法

在審

• 申請號: 202211533211.2
• 申請日: 2022-12-02
• 公開（公告）號: CN115994990A
• 公開（公告）日: 2023-04-21
• 發明（設計）人: 聶為之;陳睿東
• 申請（專利權）人: 天津大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/042;G06N3/045;G06F18/25;G06F18/24;G06V10/82
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 杜文茹

1.一種基于文本信息引導的三維模型自動建模方法，其特征在于，包括如下步驟：

1)構建文本特征提取網絡和三維模型特征提取網絡；

2)在文本標注三維模型數據集上進行數據預處理；

3)構建文本—三維模型知識圖譜，包括：定義實體與關系，所述的實體包括：語義標簽實體、文本描述實體和三維模型實體三種類型，所述的關系包括：描述關系、屬性關系和相似關系三種關系類型；

4)采用Transformer網絡進行堆疊組成先驗知識融合網絡，利用先驗知識融合網絡對輸入文本與檢索到的相關語義標簽進行特征融合；

5)采用多層感知機網絡組成三維模型解碼器網絡，所述的三維模型解碼器網絡分為形狀解碼器和顏色解碼器兩部分；將步驟4)得到的二維融合特征分別作為形狀解碼器和顏色解碼器的輸入，分別在隱式占用場空間內對三維模型進行形狀和顏色的預測。

6)使用Adam優化器對基于文本信息引導的三維模型生成網絡進行端到端訓練；所述的基于文本信息引導的三維模型生成網絡包含三維模型特征提取網絡，三維模型解碼器網絡，文本特征提取網絡，先驗知識融合網絡四個網絡；

7)利用訓練完成的基于文本信息引導的三維模型生成網絡，基于用戶輸入文本進行三維模型形狀和顏色的預測，使用MarchingCubes算法將預測結果渲染為三維網格，得到自動建模結果。

2.根據權利要求1所述的基于文本信息引導的三維模型自動建模方法，其特征在于，步驟1)所述的構建文本特征提取網絡，以預訓練BERT網絡為基礎構建文本編碼器作為文本特征提取網絡，所述文本特征提取網絡的輸入為長度不大于64的文本描述單詞序列，使用BERT池化獲得句子全局特征，使用一個線性層輸出256維的特征向量。

3.根據權利要求1所述的基于文本信息引導的三維模型自動建模方法，其特征在于，步驟1)所述的構建三維模型特征提取網絡，是采用三維卷積塊堆疊組成三維模型編碼器作為三維模型特征提取網絡，所述三維模型特征提取網絡的輸入分辨率為64的三維體素，輸出為256維的特征向量。

4.根據權利要求1所述的基于文本信息引導的三維模型自動建模方法，其特征在于，步驟2)包括：

采用TextRank算法，對文本標注三維模型數據集中所有文本描述語料進行關鍵詞提取；

采用對比學習損失函數對文本特征提取網絡和三維模型特征提取網絡進行網絡訓練，得到文本特征和三維模型特征的聯合特征表示；

采用余弦相似度方法得到文本標注三維模型數據集中每條文本和每個三維模型之間的跨模態特征相似度。

5.根據權利要求1所述的基于文本信息引導的三維模型自動建模方法，其特征在于，步驟3)中所述的語義標簽實體，是由數據預處理后提取的關鍵詞構成；所述的文本描述實體和三維模型實體，是由文本標注三維模型數據集中的文本描述和三維模型構成。

6.根據權利要求1所述的基于文本信息引導的三維模型自動建模方法，其特征在于，步驟3)中所述的描述關系是由文本標注三維模型數據集中的文本描述和三維模型對應關系構建，涉及文本描述實體和三維模型實體；所述的屬性關系是由文本標注三維模型數據集中的三維模型所對應的文本描述與提取的關鍵詞的相互關系構建，涉及語義標簽實體和三維模型實體；所述的相似關系，是利用數據預處理中所得到的跨模態特征相似度，根據三維模型所對應的文本描述特征，選取跨模態特征相似度最高的三維模型構建，相似關系涉及兩個三維模型實體。