[發明專利]一種基于強化學習的三維模型自動上色方法

在審

• 申請號: 202010876342.5
• 申請日: 2020-08-25
• 公開（公告）號: CN112017305A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 宋海川;曾鑫超;院旺;張克越;馬利莊
• 申請（專利權）人: 華東師范大學
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06T7/11;G06T7/187;G06K9/62;G06N3/04;G06N3/08;B33Y50/00
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種基于強化學習的三維模型自動上色方法，其特征在于采用漸進式功能增強網絡得到其對象級語義分割，并根據用戶指定的模型目標功能描述或在“幾何-材料-功能”數據集進行基于離散Hausdorff距離的幾何匹配方法，得到輸入模型的對象級可打印多材料智能分布結果，對三維模型進行多材料分布及上色具體包括以下步驟：

步驟1：數據集的補全與擴充

1.1)通過收集包含幾何信息、材料信息以及粗略功能類型描述的初始數據集；

1.2)使用K-Means算法對模型進行聚類，當每一類的損失值小于指定閾值時停止訓練；

1.3)對每一個聚類核進行功能描述的手動標注，從而獲得第一批完整功能標簽核心模型；

步驟2：模型的自迭代學習

2.1)將帶有完整功能標簽的核心模型輸入到深度學習神經網絡中，采用強化學習的策略，誘導網絡利用新加入的模型進行自迭代學習，通過標簽和網絡輸出確定能量函數值；

2.2)根據能量函數值和訓練參數在訓練集上訓練深度神經網絡模型；

2.3)當深度神經網絡在訓練集上的能量函數值達到設定閾值時，停止訓練；

2.4)隨著數據集體量不斷擴充和模型標注持續自完善，從而得到支持在線優化的“幾何-材料-功能”數據集；

步驟3：多材料智能分布

3.1)將上述數據集輸入語義分割網絡，得到其對象級語義分割，并通過對象級語義分割和標簽數據確定分割損失代價函數值；

3.2)根據分割損失代價函數值和訓練參數在訓練集上訓練語義分割網絡；

3.3)當語義分割網絡在訓練集上的分割損失代價函數值小于設定閾值時，停止訓練；

3.4)將數據集進行基于離散Hausdorff距離的幾何匹配，得到輸入模型的對象級可打印多材料智能分布結果。

2.根據權利要求1所述基于強化學習的三維模型自動上色方法，其特征在于所述步驟1的數據集的補全與擴充具體包括：

A1)通過網絡查找和數據庫搜索，收集三維模型結構與信息，添加到現有的三維模型數據集上進行數據集擴充；

A2)將擴充的數據集進行三維模型旋轉、裁剪和縮放處理操作；

A3)使用K-Means算法對三維模型進行聚類，并對每一個聚類核手動進行比對、校驗，并打上具有功能描述的標注，從而獲得第一批完整功能標簽核心模型。

3.根據權利要求1所述基于強化學習的三維模型自動上色方法，其特征在于所述步驟2的模型的自迭代學習具體包括：

B1)將完整功能標簽核心模型輸入到深度學習神經網絡中，確定輸出的是三維模型的功能和材料標簽信息；

B2)根據上述三維模型的功能和材料標簽信息與原先輸入的功能描述的標注對比，采用強化學習的方法計算每個輸出的能量函數值；

B3)根據上述能量函數值和訓練參數優化神經網絡，提高網絡輸出標簽的精確度，隨著數據集體量的不斷擴充和模型標注持續自完善，從而得到支持在線優化的“幾何-材料-功能”數據集。

4.根據權利要求1所述基于強化學習的三維模型自動上色方法，其特征在于所述步驟3的多材料智能分布具體包括：

C1)從網上獲取經訓練的深度卷積神經網絡U-Net的參數，并根據U-Net的參數確定深度語義分割網絡的模型初始參數，將訓練集作為上述深度語義分割網絡的輸入，得到相同維度大小的輸出語義分割圖，通過訓練集的ground-truth與輸出語義分割圖作對比，確定語義分割圖的Dice損失函數，在初始參數的基礎上，用訓練集訓練深度語義分割網絡；

C2)根據語義分割圖Dice損失函數值通過反向傳播的方式，在訓練集上更新深度語義分割網絡當中參數；

C3)將待上色模型輸入上述深度語義分割網絡中，輸出相應語義分割圖；

C4)將上述語義分割圖與數據庫中的模型作對比，計算基于離散Hausdorff距離進行幾何匹配，得到輸入模型的對象級可打印多材料智能分布結果。

5.根據權利要求1所述基于強化學習的三維模型自動上色方法，其特征在于所述訓練參數為0.00025的學習率。