[發明專利]圖像處理和三維對象建模方法與設備、圖像處理裝置及介質

有效

• 申請號: 202010575205.8
• 申請日: 2019-04-12
• 公開（公告）號: CN111861882B
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京城市網鄰信息技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T17/00;G06K9/62
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 呂俊秀

本發明公開了圖像處理和三維對象建模方法與設備、圖像處理裝置及介質。該圖像處理方法包括：利用拍攝的至少一幅全景圖像的幾何關系，估計相機的位置、以及該全景圖像上的匹配特征點的三維點坐標；對于每個全景圖像，通過用于提取圖像輪廓的深度學習模型，提取該全景圖像的在三維空間中的平面輪廓；以及將拍攝每幅全景圖像時的全景相機的位置的尺度和每幅全景圖像的三維空間中的平面輪廓的尺度進行歸一化。通過利用全景相機拍攝的高分辨率的全景圖像，能夠提高三維對象的模型的分辨率，通過深度學習模型提取圖像的平面輪廓，能夠提高對象建模所需的準備數據的精度，由此能夠有效提高所生成的三維對象模型的分辨率和準確度。

技術領域

本發明涉及圖像處理和三維對象建模領域，尤其涉及圖像處理和三維對象建模方法與設備、圖像處理裝置及介質。

背景技術

在三維對象建模領域，如何使得生成的三維模型具有高分辨率和高準確度是業界極力追求的目標。

目前主要有兩種方式進行三維對象建模。

一種是采用普通圖像采集設備從不同的角度來拍攝多個圖像，然后將從不同角度拍攝的多個圖像組合/拼接起來，構成三維對象的三維模型。但是，這種方式在拍攝多個圖像時，拍攝角度和位置一般需要是固定的，這種拍攝方式有很大的缺陷，往往無法拍攝不能移動的大的三維對象，尤其是要對多個這樣的各自位置固定、空間密閉的、而且很難全方位多角度拍攝的三維對象(例如室內房屋或室外復雜空間)進行建模時；而且，這種方式需要復雜的圖像拼接，總之，很難得到高準確度的三維目標。

另一種方式是直接使用三維掃描設備獲取三維對象的三維點云，然后進行三維點云的拼接，生成三維模型。但是，這種三維掃描設備的圖像采集設備精度不高，導致捕獲的圖像分辨率不高，致使生成的三維模型的分辨率不夠高。

因此，如何得到高分辨率的采集圖像，如何提高圖像處理的精度以便為三維對象建模提供高精度和高分辨率的建模所需數據，如何使得提供的建模所需數據能夠簡化后續的模型生成過程，如何有效地提高所生成的三維對象模型的準確性是本發明考慮要解決的技術問題。

發明內容

為了解決以上問題之一，本發明提供了一種圖像處理和三維對象建模方法與設備、圖像處理裝置及介質。

根據本發明的一個示例性實施例，提供一種圖像處理方法，包括：相機位置估計步驟，其中，利用針對待處理的至少一個三維對象拍攝的至少一幅全景圖像的幾何關系，估計在拍攝每幅全景圖像時的全景相機的位置、以及每幅全景圖像上的匹配特征點的三維點坐標，其中，每幅全景圖像是針對一個三維對象拍攝的，每個三維對象對應于一幅或多幅全景圖像；單圖像平面輪廓生成步驟，其中，對于每幅全景圖像，通過用于提取圖像輪廓的深度學習模型，提取所述全景圖像的在三維空間中的平面輪廓；以及尺度歸一化步驟，其中，將所估計的在拍攝每幅全景圖像時的全景相機的位置的尺度和每幅全景圖像的在三維空間中的平面輪廓的尺度進行歸一化，得到經過歸一化的各全景圖像的在三維空間中的平面輪廓。

可選地，通過下述方式來訓練所述深度學習模型：通過人工標注作為訓練圖像的多個全景圖像上的被關注類型的三維對象的輪廓特征，生成被關注類型的三維對象的輪廓特征訓練數據集；利用被關注類型的三維對象的輪廓特征訓練數據集來訓練所述深度學習模型，由此得到經過訓練的深度學習模型，其中，所述深度學習模型的輸出包含被關注類型的三維對象的輪廓特征類別。

可選地，單圖像平面輪廓生成步驟包括：將所述至少一幅全景圖像輸入到經過訓練的所述深度學習模型中，得到所述全景圖像中每個像素點對應的輪廓特征的類別；提取出每幅全景圖像中，輪廓特征屬于特定類別的像素點中的處于邊緣的邊緣像素點作為特定類別邊緣像素點；假定所述至少一幅全景圖像上的所有特定類別邊緣像素點具有同一高度h_c，作為特定類別輪廓假定高度，并將每幅全景上的所述特定類別邊緣像素點投影到三維平面上，得到與每幅全景圖像對應的特定類別三維點，然后基于與每幅全景圖像對應的所述特定類別三維點，形成各全景圖像的在三維空間中的平面輪廓。