[發明專利]一種基于嵌入空間的單幅圖像三維零件組合式建模方法

在審

• 申請號: 202010132909.8
• 申請日: 2020-02-29
• 公開（公告）號: CN111354076A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 周彬;埃米;吳洪宇;石亞豪;王小剛
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/02
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;鄧治平

本發明提出了一種基于嵌入空間的單幅圖像三維零件組合式建模方法，借助嵌入空間，對圖片對象的部件模型進行檢索，并將檢索結果進行拼接，作為最終建模結果。該方法由五個步驟組成：對象級嵌入空間構建步驟，零件級嵌入空間構建步驟，基于嵌入空間的模型檢索步驟，零件級模型的變形和擺放步驟和拼接結果選擇步驟。本發明實驗驗證，具有可行性、準確性和通用性，可用于多種類別的對象三維建模中。

技術領域

本發明屬于計算機圖形學與計算機視覺的技術領域，主要涉及一種基于單張圖片的零件級組合式三維建模方法。

背景技術

計算機圖形學是一種利用數學算法，把二維或三維圖形轉換為計算機顯示器的柵格形式的科學，其主要研究內容就是使用計算機表示圖形、利用計算機進行圖形計算、處理和顯示的原理與算法。虛擬現實可以說是計算機圖形學的重要應用之一。而作為虛擬現實世界對象的來源，三維模型的獲取、構建與計算也是計算機圖形學的研究內容中重要的一部分。傳統上的建模一般是由人手工過建模軟件完成三維模型的設計，包括CAD、Maya、3DMax等軟件。但隨著對模型的使用和研究的需求的增加，手工構建的模型越來越難以滿足人們的需要，不論是對于簡單模型的數量需求，還是對現實中對象建模的難度需求。因此如何讓計算機進行快速地、自動化地建模，仍有待人們去探索。

現有方法包括2011年和2012年斯坦福大學的Siddhartha Chaudhuri等人提出的半自動化的建模方法、2013年Chen T等人提出了一種對單幅圖像上進行交互式建模的方法、2015年，Chen X等人提出對服裝的建模方法、2016年，Jaiswal P等人提出在無標注的CAD數據集上進行建模的方法。

以上方法存在以下問題：

部分方法需要用戶參與，沒有實現全自動的建模方法；需要針對每個類別進行結構分析和單獨建模，無法實現類別無關的建模方法；沒有實現輸入單張圖片，進行零件級組合式建模的方法；輸出為點云模型或體素模型，不能將CAD模型作為輸出結果。

發明內容

本發明的技術解決問題：克服現有方法的不足，提供一種基于嵌入空間的單幅圖像三維零件組合式建模方法，以圖片作為指導進行建模，結果更符合用戶的需要，不會存在建模結果單一的情況，同時，零件級建模保證了在數據集規模不必太大情況下結果和圖片對象盡可能相似，而且也實現了類別無關的建模方式，不再只針對單個類別的建模。

本發明的技術解決方案：

使用三維CAD模型數據集構建生成模型對象、部件和圖片的嵌入空間，并將嵌入空間用于圖片對象的對象檢索、部件檢索、部件拼接等步驟，最后對拼接結果進行位姿估計和拼接結果選擇。

一種基于嵌入空間的單幅圖像三維零件組合式建模方法，包括如下步驟：

步驟1：對象級嵌入空間構建步驟，建立起圖像和對象級模型之間的聯系，利用圖像進行對象級模型檢索；

步驟2：零件級嵌入空間構建步驟，建立起圖像和零件級模型之間的聯系，利用圖像進行零件級模型檢索；

步驟3：基于嵌入空間的模型檢索步驟，利用步驟1檢索出對象級模型，再利用步驟2對檢索出的對象級模型拆分的零件進行檢索和排序，獲得一組零件級模型；

步驟4：零件級模型的變形和擺放步驟，對步驟3中檢索的零件級模型進行全組合拼接，并對每兩個零件進行相對尺度和空間位置的預測，獲得多個拼接后的模型；

步驟5：拼接結果選擇步驟，將步驟4中的拼接后的模型與原始輸入圖片進行比較，選擇出與原始輸入圖片中的對象最接近的拼接結果。

所述步驟1的對象級嵌入空間構建步驟具體如下：

步驟(1.1)使用零件級標記的CAD模型數據集，對模型對象的obj文件進行合成，將所有需要嵌入的類別對象級模型進行環繞角度和指定位姿的渲染，獲得無背景的所有渲染圖片；