[發明專利]一種基于改進的紋理貼圖算法的VR三維重建技術

在審

• 申請號: 202010914364.6
• 申請日: 2020-08-28
• 公開（公告）號: CN112598778A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 程鵬;王濤;梁鵬飛;武威;趙梅;胡陽;馮浩;楊利峰;李磊;任磊;張超波;王黎;王軍;張高;張柏林;朱成亮;田向榮;王帥;李一非;申強;何佳;梅坤鵬;洛寧
• 申請（專利權）人: 國網陜西省電力公司西咸新區供電公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G06T15/04;H04N13/15;H04N13/156;H04N13/239;H04N13/363
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于改進的紋理貼圖算法的VR三維重建技術。針對傳統的電力設備培訓耗資大、培訓內容有限、部分故障場景難以復現、線上培訓極易對現有生產生活產生不利的影響，提出基于VR技術進行電纜運維技能和故障應急搶修培訓，并對于此提出一種VR三維重建的方法。具體為使用深度相機雙攝像頭進行場景輸入，利用深度相機既能產生RGB圖像，又能產生深度圖像的特點，來進行3D模型搭建以及多層次圖像構建。首先使用棋盤校準法將RGB圖與深度圖進行單機校準，然后進行多機校準，構建出世界坐標系；接著使用KinectFusion中的TSDF方法，進行初步的三維模型搭建；最后使用融合了深度信息的紋理貼圖算法，對電力設備外觀模型進行優化。這大大提高了搭建場景的真實性，有效的解決了VR場景搭建復雜，人力耗費大，關鍵細節模糊的問題，對今后的VR場景搭建具有指導性的意義。

技術領域

本發明涉及一種基于改進的紋理貼圖算法的VR三維重建技術。本發明所屬的技術領域是VR三維重建，旨在低成本、高還原度地搭建三維模型。

背景技術

近年來，我國電網的電纜化程度在不斷提高，但是電力電纜后期的維護工作具有較大的難度，保障電纜線路的安全運行是電力系統運行的基本要求。電纜一旦發生故障將直接影響整個電力系統的安全運行，甚至可能導致火災、大規模停電等嚴重后果。因此，電纜運維中的一項重要工作便是培養具有電纜運維技能及故障檢修技術的人才。傳統的電纜運維及檢修賦能主要分為理論學習和實操訓練兩種，傳統理論學習不夠生動形象，而實操訓練容易受到作業場地、作業裝置的差異性以及天氣等因素制約，實際效果不夠理想。而隨著計算機技術的不斷發展，虛擬現實(virtual reality，VR)技術受到越來越多的關注，使用VR技術進行電纜運維技能培訓和故障應急搶修成為可能。VR可以極高的還原電力作業現場，工作人員可以在毫無危險的情況下完成不同模擬操作訓練，這是傳統學習方式無法比擬的。

發明內容

虛擬環境的建立是VR系統的核心，目的是獲取實際環境中的三維數據，并根據需要建立相應的虛擬環境模型。傳統的三維數據的建立通常以二維圖像作為輸入，構建出場景中的三維模型，但該方法受限于輸入的數據，重建出的三維模型通常不夠完整且真實感偏低。本發明針對上述問題，提出一種使用深度相機來進行三維重建，并通過融合深度信息的紋理貼圖算法對三維模型表面的紋理信息進行加強的方法。

本發明的實現步驟包括：

1.1深度相機雙攝像頭融合校準，輸出視頻流。微軟的Kinect深度相機掃描得到的每一幀數據不僅包括了場景中的點的彩色RGB圖像，還包括每個點到深度相機所在垂直平面的距離值，這個距離值被稱為深度值(depth)，這些深度值即組成深度圖像。深度圖像可以看作是一幅灰度圖像，圖像中每個點的灰度值代表了這個點的深度值，即該點在現實中的位置到相機所在垂直平面的真實距離。

Kinect相機由兩個攝像頭分別拍攝出彩色圖像和深度圖像，所以需要將這兩個攝像頭拍攝到的不同類型的圖像進行校準并融合，使得RGB圖像上的每一個像素點都可以在其真正的深度坐標上獲得投影，進行三維重建。同時此處會進行模糊檢測，對于模糊的圖像幀進行存儲，以備后續紋理貼圖算法使用。

1.2多臺Kinect拼接校準。為了完整的構建出電纜運維流程及電纜常見故障等虛擬場景，必須要進行360度全面覆蓋，這樣的效果利用一臺相機是無法完成的，需要使用多臺Kinect同時工作，從多個角度同時拍攝一個目標。現實中的電纜設備運營模式相對簡單，一般采取四機位，機位間呈90°間隔即可。不同的相機位置對應著不同的局部三維坐標系，然而重建后的模型需要坐落在一個坐標系，即世界坐標系。于是，需要找到每一個相機的局部坐標系同世界坐標系的位置關系。在三維環境中建立空間坐標系，設立原點，將所有Kinect共同校準。