[發(fā)明專利]一種生成三維虛擬模型的方法及裝置

在審

• 申請?zhí)枺?/td>: 202111148991.4
• 申請日: 2021-09-28
• 公開（公告）號: CN114140574A
• 公開（公告）日: 2022-03-04
• 發(fā)明（設計）人: 孫大運;唐忠樑
• 申請（專利權(quán)）人: 每平每屋（上海）科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/04;G06T7/13;G06N3/04;G06K9/62;G06V10/774
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 王柳焜

1.一種生成三維虛擬模型的方法，其特征在于，所述方法包括：

在需要生成主體對象的三維虛擬模型的情況下，獲取目標圖像，所述目標圖像中包括所述主體對象，所述主體對象中包括至少一個部件對象；

根據(jù)所述目標圖像獲取所述主體對象的主體圖像；

根據(jù)所述主體圖像獲取所述部件對象的部件圖像；

根據(jù)所述部件圖像生成所述主體對象的三維虛擬模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述主體圖像獲取所述部件對象的部件圖像，包括：

根據(jù)所述主體圖像獲取所述部件對象的部件掩膜信息；

根據(jù)所述部件掩膜信息在所述主體圖像中截取所述部件圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

在顯示有所述目標圖像的情況下，根據(jù)所述部件掩膜信息獲取所述部件對象在所述目標圖像上的所述主體圖像上的部件邊緣輪廓；

在所述目標圖像上的所述主體圖像上顯示所述部件邊緣輪廓以及輸入控件；

在接收到根據(jù)所述輸入控件輸入的對所述部件邊緣輪廓的編輯操作的情況下，根據(jù)所述編輯操作矯正所述部件邊緣輪廓，得到矯正后的部件邊緣輪廓；

根據(jù)矯正后的部件邊緣輪廓矯正所述部件掩膜信息，得到矯正后的部件掩膜信息；

相應地，所述根據(jù)所述部件掩膜信息在所述主體圖像中截取所述部件圖像，包括：

根據(jù)矯正后的部件掩膜信息在所述主體圖像中截取所述部件圖像。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述主體圖像獲取所述部件對象的部件掩膜信息，包括：

使用部件掩膜信息獲取模型根據(jù)所述主體圖像預測所述部件對象的至少一個候選掩膜信息以及各個候選掩膜信息的預測概率值；

獲取預測概率值最大的候選掩膜信息分別與所述至少一個候選掩膜信息中除預測概率值最大的候選掩膜信息以外的至少部分候選掩膜信息之間的交并比；

在所述至少部分候選掩膜信息中選擇與預測概率值最大的候選掩膜信息之間的交并比小于預設交并比的候選掩膜信息；

根據(jù)選擇的候選掩膜信息獲取所述部件掩膜信息。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述使用部件掩膜信息獲取模型根據(jù)所述主體圖像預測所述部件對象的至少一個候選掩膜信息以及各個候選掩膜信息的預測概率值，包括：

使用所述部件掩膜信息獲取模型中的輕量化特征提取網(wǎng)絡提取所述主體圖像的主體圖像特征；

至少使用所述部件掩膜信息獲取模型中的掩膜檢測網(wǎng)絡根據(jù)所述主體圖像特征預測所述部件對象的至少一個候選掩膜信息以及各個候選掩膜信息的預測概率值。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述輕量化特征提取網(wǎng)絡中包括輕量化特征提取器以及全局特征描述子；

所述使用所述部件掩膜信息獲取模型中的輕量化特征提取網(wǎng)絡提取所述主體圖像的主體圖像特征，包括：

使用所述輕量化特征提取器提取所述主體圖像的參考圖像特征；

基于所述全局特征描述子對所述參考圖像特征擴展，得到至少一個擴展圖像特征；

至少根據(jù)所述至少一個擴展圖像特征獲取所述主體圖像特征。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述部件掩膜信息獲取模型中還包括類別檢測網(wǎng)絡；

所述至少使用所述部件掩膜信息獲取模型中的掩膜檢測網(wǎng)絡根據(jù)所述主體圖像特征預測所述部件對象的至少一個候選掩膜信息以及各個候選掩膜信息的預測概率值，包括：

使用所述類別檢測網(wǎng)絡檢測所述部件對象的部件類別；

使用所述掩膜檢測網(wǎng)絡根據(jù)所述主體圖像特征以及所述部件類別預測所述部件對象的至少一個候選掩膜信息以及各個候選掩膜信息的預測概率值。