[發明專利]一種基于單視圖與深度學習的古文物三維重建方法

在審

• 申請號: 202111510170.0
• 申請日: 2021-12-10
• 公開（公告）號: CN114255328A
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 李紅波;葉成慶;楊杰
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/04;G06K9/62;G06F30/27;G06V10/774;G06V10/82
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 張楊

本發明涉及古文物圖片的三維重建技術領域，公開了一種基于單視圖與深度學習的古文物三維重建方法，包括如下步驟：步驟1：輸入古文物及與所述古文物相似工藝品的數據集；步驟2：根據“編碼器?解碼器”的網絡結構，使用帶有3D?ResVGG網絡和多路徑通道注意力模塊的編碼器對所述數據集進行深度信息挖掘和特征提取，生成古文物三維網絡模型；步驟3：通過智能AI工具將需要進行三維重建的古文物圖片進行預處理，生成預設類型圖片；步驟4：將作為單視圖的所述預設類型圖片輸入到所述古文物三維網絡模型中，生成完整的需要進行三維重建的古文物圖片的古文物三維模型。本發明提出了一種新的3D?ResVGG網絡，通過多分支模型訓練，完善了原有VGG架構過擬合的問題。

技術領域

本發明涉及古文物圖片的三維重建技術領域，具體涉及一種基于單視圖與深度學習的古文物三維重建方法。

背景技術

古文物是人類在社會活動中遺留下來的具有歷史、藝術、科學價值的遺物和遺跡，它是人類寶貴的歷史文化遺產。很多時候，人們對古文物的了解，僅僅是通過圖片來觀察了解到，這樣對古文物的了解會不夠深刻。因為，我們生活在一個三維世界中，但是人眼所看到的是物體的二維投影，而且通過攝像機等設備獲取的物體形式通常是二維圖像，因此，基于圖像的三維重建是計算機視覺、計算機動畫、工業制造等多個領域的核心問題。現實世界中，所有的物體都以三維形式存在，且具有形狀、外觀和紋理等特征。對于工程測繪技術來說，三維重建可幫助其遙感系統獲取所需要的地表空間信息，并做到了實時性；在人機交互領域，三維重建技術更是奠定了高級人機界面的基礎，真正實現了以沉浸式和具有交互性的虛擬現實技術；在建筑信息化領域，是文物建筑保護、工程質量檢測與管理、建筑拆遷管理和建筑物改造或裝修的重要利器。

同時，文物數據作為一個向公眾傳播、保存、展示歷史文化、社會風貌的載體，其保護工作逐漸被大眾重視起來。三維重建技術發展到今天，已逐漸成為在歷史文物數據保存方面最為領先的應用技術。它可以將真實文物的幾何信息長久保存下來，為推動文物的應用研究和深入的數據分析提供了極大的便利。

除此之外，在可視化技術領域，實體文物信息的數字化和計算機領域的可視化技術均有了較大規模的應用，文化教育的相關產業將有更多的機會去發揮文物的社會教育職能，以進一步拓展和滿足大眾的鑒賞需求。

在三維重建中傳統方法中比較成熟的是立體視覺理論，立體視覺是基于小孔成像原理通過相機模擬人眼觀看物體的幾何規律計算視差進而推導深度的科學方法。近年來隨著智能手機的普及和手機廠商對鏡頭虛化的追求，基于雙目視覺的三維重建越來越成熟，通過相機的雙攝計算出視差圖，通過視差圖計算深度圖進而還原三維場景，與此同時，TOF傳感器加入也為這個問題帶來了新的解決思路，TOF傳感器可以直接獲得稀疏的深度信息，雖然不夠精確但可以雙目視覺的計算。在三維重建技術發展的同時，一大批立體視覺設備的誕生，如立體相機，Kinect等。然而盡管有大量立體視覺設備等的涌現，但在網絡環境中容易獲取的大多數古文物圖片資料仍是單目單視圖為主，并不是包含深度的RGBD或者給定相機參數的雙目視圖，缺乏關聯信息的單視圖圖片很難通過立體視覺理論進行重建，也因此引出了一個新的計算機視覺問題：單視圖的三維重建問題。

單視圖三維重建任務是一個十分困難的計算機視覺任務。傳統方法的提取特征的方法主要是構造手工特征，利用算子提取圖像的紋理和輪廓、計算光流提取運動信息、通過灰度判斷明暗關系，這些都是提取手工特征常用的手段，利用這些特征加上輔助的假設條件完成三維模型的重建，當然受限于特征包含的信息量，傳統方法效果并不理想。

發明內容

針對目前古文物視圖圖片稀缺以及三維模型數據集稀少的問題，在現有研究以及實現古文物三維模型數據集的基礎上，提出一種基于單視圖與深度學習的古文物三維重建方法，通過對古文物三維網絡模型訓練完成后輸入單視圖圖片即可生成模型，以實現二維圖像到三維模型之間的映射，使得在單視圖圖片的情況下進行三維重建，并且，該算法不需要圖像注釋或分類標簽進行訓練，克服了過去無法解決的缺乏紋理和寬基線特征匹配等問題。

本發明通過下述技術方案實現：