[發明專利]圖像處理和對象建模方法與設備、圖像處理裝置及介質

有效

• 申請號: 202010574097.2
• 申請日: 2019-04-12
• 公開（公告）號: CN111862302B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京城市網鄰信息技術有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/10;G06T7/13
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 呂俊秀

本發明公開了圖像處理和對象建模方法與設備、圖像處理裝置及介質。該圖像處理方法包括：利用拍攝的至少一幅全景圖像的幾何關系，估計相機的位置、以及該全景圖像上的匹配特征點的三維點坐標；對于每幅全景圖像，基于該全景圖像上的、特征輪廓屬于特定類別的像素點中的邊緣像素點所圍成的輪廓，生成該全景圖像的在三維空間中的平面輪廓；以及將拍攝每幅全景圖像時的全景相機的位置的尺度和每幅全景圖像的三維空間中的平面輪廓的尺度進行歸一化。通過利用全景相機拍攝的全景圖像，生成三維對象在三維空間中的平面輪廓乃至生成三維對象的3D模型，能夠有效提高所生成的對象模型的分辨率。

技術領域

本發明涉及對象建模領域，尤其涉及圖像處理和對象建模方法與設備、圖像處理裝置及介質。

背景技術

在對象建模領域，如何使得生成的對象模型具有高分辨率和/或高準確度是業界極力追求的目標。

對象建模可以實現用戶足不出戶(例如通過網絡)即可瀏覽三維對象的2D和/或3D結構，并且，對象的3D建模可實現如同身臨其境的效果，這在虛擬現實領域是一項非常重要的應用。

在對象建模領域，尤其是2D和3D建模領域，國內外的技術方案主要分為兩大類：手動制作和自動化建模。

對于手動制作的方法，需要依賴大量的人工操作，對于對象的三維結構進行標識，并手動進行多個對象模型之間的拼接。手動制作一套三維對象的3D模型需要較長時間，因此大量的三維對象數據需要眾多的人員來手動制作，人員成本過高，很難實際應用。

對于自動化3D建模的方法，目前大多數采用專業的3D掃描設備，可以直接獲取單個對象的三維點云，然后進行三維點云的拼接，生成3D模型。但是，這種專業的3D掃描設備的圖像采集設備精度不高，導致捕獲的圖像分辨率不高，致使生成的三維模型的分辨率不夠高。而且，這種3D掃描設備通常價格昂貴，很難滿足消費級應用的需求。

因此，如何得到高分辨率的采集圖像，如何高效地處理采集的圖像以便為對象建模提供高分辨率的建模準備數據、甚至如何使得提供的數據能夠簡化后續的模型生成過程，如何有效地提高所生成的對象模型的分辨率和/或準確性是本發明考慮要解決的技術問題。

發明內容

為了解決以上問題之一，本發明提供了一種圖像處理和對象建模方法與設備、圖像處理裝置及介質。

根據本發明的一個實施例，提供一種圖像處理方法，該圖像處理方法包括：相機位置估計步驟，其中，利用拍攝的至少一幅全景圖像的幾何關系，估計在拍攝每幅全景圖像時的全景相機的位置、以及每幅全景圖像上的匹配特征點的三維點坐標，其中，每幅全景圖像是針對一個三維對象拍攝的，每個三維對象對應于一幅或多幅全景圖像；單圖像平面輪廓生成步驟，其中，對于每幅全景圖像，基于所述全景圖像上的、輪廓特征屬于特定類別的像素點中的邊緣像素點所圍成的輪廓，生成所述全景圖像的在三維空間中的平面輪廓；以及尺度歸一化步驟，其中，將所估計的在拍攝每幅全景圖像時的全景相機的位置的尺度和每幅全景圖像的在三維空間中的平面輪廓的尺度進行歸一化，得到經過歸一化的各全景圖像的在三維空間中的平面輪廓。

可選地，相機位置估計步驟包括：利用拍攝的至少一幅全景圖像的幾何關系，進行所述全景圖像之間的特征點匹配，并記錄所述全景圖像中互相匹配的特征點作為匹配特征點；以及通過對于每幅全景圖像，減小所述全景圖像上的匹配特征點的重投影誤差，來得到拍攝每幅全景圖像時的相機位置、以及所述全景圖像上的匹配特征點的三維點坐標。

可選地，單圖像平面輪廓生成步驟包括：基于全景圖像上的像素點之間的特征相似度，確定所述全景圖像上的、輪廓特征屬于特定類別的像素點中的所述邊緣像素點，其中，兩個像素點的特征相似度為所述兩個像素點的特征之差的絕對值，所述像素點的特征包括灰度、顏色。