[發明專利]一種三維場景重構方法和裝置

在審

• 申請號: 201910839704.0
• 申請日: 2019-09-06
• 公開（公告）號: CN110706329A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 陳松;袁訓明;井方偉
• 申請（專利權）人: 深圳亞聯發展科技股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/50;G06T7/80;G06T7/40
• 代理公司: 44274 深圳市中聯專利代理有限公司
• 代理人: 朱以智

本申請實施例屬于無人機自動導航領域，涉及三維場景重構方法，包括：對至少一組雙目相機進行相機標定，以修正雙目相機的兩組攝像頭具有相同的視網膜平面；連續通過雙目相機獲取第一視頻圖像和第二視頻圖像；對第一視頻圖像和第二視頻圖像的特征因子匹配，以生成基于第一視頻圖像和第二視頻圖像的視差圖；根據連續多組的視差圖提取的視差，計算圖像的深度數據，以生成深度圖；根據深度圖中揭示的圖像深度數據進行圖像的點云對齊和拼接，以重構三維曲面；繪制三維空間，以實現三維場景的重構。本申請還涉及一種三維場景重構裝置。本申請提供的技術方案能夠快速有效的實現三維場景的重構，并且開銷遠低于現有的常規三維場景重構方案。

技術領域

本申請涉及無人機自動導航領域，更具體地，涉及一種三維場景重構方法和裝置。

背景技術

無人機因其使用的便捷性和成本低廉受到了大范圍的應用，隨著無人機的保有量持續增多，尤其是很多無人機的使用場景是人口密集，高大建筑集中的城市和工業區，以及一些林場和地貌復雜的野外環境，在這些環境當中進行無人機的導航作業，僅靠人工顯然難度太大，對操作者的駕駛專業度要求極高，需要提供能夠自動導航的無人機平臺，在無人機自動導航的過程當中，需要對周圍的環境進行精確的判定，具體的，需要采用三維重建的方式將周遭的環境數字化，以備無人機導航使用。現有的三維重建的方式包括通過三維物體的斷層掃描，并對提取的圖層連接和三角化，以獲取三維物體的內部結構和形態；利用探針或激光等具備明確指向性的手段，獲取三維物體表面的點陣，整體進行三角化，以獲取精確的三維物體外在形態；通過三維掃描獲取物體的點云數據，進行重構生成三維物體的三維數據，以上三種現有的三維掃面方法，三維成像速度慢并且成本高，通過雙目視覺的重建方式進行三維重建，素材中物理信息更為豐富，需要處理的圖像數據少，對硬件的投入要求低，成本低速度快，除了無人機的應用場景之外，還適合對信息實時性要求較高的其他三維重建使用場景。

發明內容

本申請實施例所要解決的技術問題是提供一種能夠低開銷的快速進行三維場景重構的方案。

為了解決上述技術問題，本申請實施例提供一種三維場景重構方法，采用了如下所述的技術方案：

一種三維場景重構方法，該方法包括：對至少一組雙目相機進行相機標定，以修正雙目相機的兩組攝像頭具有相同的視網膜平面；連續通過雙目相機獲取第一視頻圖像和第二視頻圖像；對第一視頻圖像和第二視頻圖像的特征因子匹配，以生成基于第一視頻圖像和第二視頻圖像的視差圖；根據連續多組的視差圖提取的視差，計算圖像的深度數據，以生成深度圖；根據深度圖中揭示的圖像深度數據進行圖像的點云對齊和拼接，以重構三維曲面；繪制三維空間，以實現三維場景的重構。

進一步的，在根據深度圖中揭示的圖像深度數據進行圖像的點云對齊和拼接，以重構三維曲面之后，繪制三維空間，以實現三維場景的重構之前，該方法還包括：根據第一視頻圖像和第二視頻圖像的紋理信息，生成紋理矩陣以進行紋理貼圖，并具體包括：根據第一視頻圖像和第二視頻圖像中特征因子的紋理信息確定特征因子在光源視點下的紋理坐標；通過opengl算法和光源視點下的紋理坐標，生成視點位置下的紋理坐標；根據紋理坐標生成紋理陰影地圖，并生成紋理矩陣；將紋理矩陣與三維曲面數據相關聯。

進一步的，所述對第一視頻圖像和第二視頻圖像的特征因子匹配，以生成基于第一視頻圖像和第二視頻圖像的視差圖，具體包括：提取第一視頻圖像和第二視頻圖像中的特征因子；將第一視頻圖像和第二視頻圖像中的特征因子相匹配，以關聯第一視頻圖像和第二視頻圖像所拍攝的物理位置；根據特征因子在第一視頻圖像中和第二視頻圖像中的位置差異，匯聚以生成視差圖。