[發明專利]圖像處理和三維對象建模方法與設備、圖像處理裝置及介質

有效

• 申請號: 202010575205.8
• 申請日: 2019-04-12
• 公開（公告）號: CN111861882B
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京城市網鄰信息技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T17/00;G06K9/62
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 呂俊秀

1.一種圖像處理方法，其特征在于，所述圖像處理方法包括：

相機位置估計步驟，其中，利用針對待處理的至少一個三維對象中每個三維對象拍攝的至少兩幅全景圖像的幾何關系，得到在拍攝每幅全景圖像時的全景相機的位置、以及每幅全景圖像上的匹配特征點的三維點坐標，其中，每幅全景圖像是針對一個三維對象拍攝的，每個三維對象對應于多幅全景圖像；

單圖像平面輪廓生成步驟，其中，對于所述每個三維對象的至少兩幅全景圖像，通過用于提取圖像輪廓的深度學習模型，提取所述全景圖像的在三維空間中的平面輪廓；以及

尺度歸一化步驟，其中，將所得到的在拍攝所述每個三維對象的至少兩幅全景圖像時的全景相機的位置的尺度和所述每個三維對象的至少兩幅全景圖像的在三維空間中的平面輪廓的尺度進行歸一化，得到經過歸一化的各全景圖像的在三維空間中的平面輪廓。

2.如權利要求1所述的圖像處理方法，其特征在于，通過下述方式來訓練所述深度學習模型：

通過人工標注作為訓練圖像的多個全景圖像上的被關注類型的三維對象的輪廓特征，生成被關注類型的三維對象的輪廓特征訓練數據集；

利用被關注類型的三維對象的輪廓特征訓練數據集來訓練所述深度學習模型，由此得到經過訓練的深度學習模型，

其中，所述深度學習模型的輸出包含被關注類型的三維對象的輪廓特征類別。

3.如權利要求2所述的圖像處理方法，其特征在于，單圖像平面輪廓生成步驟包括：

將所述每個三維對象的至少兩幅全景圖像輸入到經過訓練的所述深度學習模型中，得到所述全景圖像中每個像素點對應的輪廓特征的類別；

提取出所述每個三維對象的至少兩幅全景圖像中，輪廓特征屬于特定類別的像素點中的處于邊緣的邊緣像素點作為特定類別邊緣像素點；

假定所述每個三維對象的至少兩幅全景圖像上的所有特定類別邊緣像素點具有同一高度h_c，作為特定類別輪廓假定高度，并將所述每個三維對象的至少兩幅全景圖像上的所述特定類別邊緣像素點投影到三維平面上，得到與每幅全景圖像對應的特定類別三維點，然后基于與每幅全景圖像對應的所述特定類別三維點，形成各全景圖像的在三維空間中的平面輪廓；

其中，所述特定類別是所述全景圖像中三維對象的頂部。

4.如權利要求1所述的圖像處理方法，其特征在于，相機位置估計步驟包括：

利用拍攝的至少兩幅全景圖像的幾何關系，進行所述全景圖像之間的特征點匹配，并記錄所述全景圖像中互相匹配的特征點作為匹配特征點；以及

通過對于每幅全景圖像，減小所述全景圖像上的匹配特征點的重投影誤差，來得到拍攝每幅全景圖像時的相機位置、以及每幅全景圖像上的匹配特征點的三維點坐標。

5.如權利要求1所述的圖像處理方法，其特征在于，尺度歸一化步驟包括：

將在相機位置估計步驟得到的所述每個三維對象的至少兩幅全景圖像上的所有三維點坐標中的高度值從小到大排序，取排序靠前的高度值的中值或者均值作為特定類別輪廓估計高度h_c’；以及

利用特定類別輪廓假定高度h_c與特定類別輪廓估計高度h_c’的比值，從所述每個三維對象的至少兩幅全景圖像的在三維空間中的平面輪廓生成經過歸一化的各全景圖像的在三維空間中的平面輪廓，

其中，特定類別輪廓假定高度h_c是任意假定的一個高度；

其中，所述特定類別是所述全景圖像中三維對象的頂部。

6.一種三維對象建模方法，其特征在于，所述三維對象建模方法包括：

圖像處理步驟，其中，使用如權利要求1～5中的任何一項所述的圖像處理方法，對至少兩幅全景圖像進行圖像處理，以得到經過歸一化的各全景圖像的在三維空間中的平面輪廓；以及

多對象拼接步驟，其中，基于所述經過歸一化的各全景圖像的在三維空間中的平面輪廓，拼接得到多對象平面輪廓。