[發明專利]用于多視圖三維重建的信息處理方法及裝置

有效

• 申請號: 202111121954.4
• 申請日: 2021-09-24
• 公開（公告）號: CN113869390B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 由清圳
• 申請（專利權）人: 埃洛克航空科技（北京）有限公司
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/26;G06V20/70;G06T17/00
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 高科;李志剛

本公開公開了一種用于多視圖三維重建的信息處理方法及裝置，其中方法包括：在獲取到經語義識別后的參考圖片、以及經語義識別后的與參考圖片相關聯的圖片后，針對參考圖片中的目標像素點，確定其對應的像素塊；基于像素塊對應的語義標簽、以及相關聯的圖片的語義標簽，在關聯的圖片中確定像素塊對應的關聯像素塊；確定關聯像素塊中每一個像素點的取值。通過在確定像素塊后，基于語義標簽信息在關聯圖片中確定關聯像素塊，而后確定關聯像素塊中像素點的取值，提高了確定像素值的準確度，進而提高了基于MVS的重建效果，解決了相關技術中像素值確定準確度低，導致MVS重建效果不理想。

技術領域

本公開涉及圖像處理技術領域，具體涉及到一種用于多視圖三維重建的信息處理方法及裝置。

背景技術

MVS——multi view system，MVS幾乎對照片中的每個像素點都進行匹配，幾乎重建每一個像素點的三維坐標，這樣得到的點的密集程度可以較接近圖像展示出的清晰度。

相關技術中，在MVS過程中對像素的打分準確度低，導致基于MVS三維重建后的效果差。

發明內容

本公開的主要目的在于提供一種用于多視圖三維重建的信息處理方法及裝置。

為了實現上述目的，根據本公開的第一方面，提供了一種用于多視圖三維重建的信息處理方法，包括：在獲取到經語義識別后的參考圖片、以及經語義識別后的與參考圖片相關聯的圖片后，針對參考圖片中的目標像素點，確定其對應的像素塊；基于所述像素塊對應的語義標簽、以及所述相關聯的圖片的語義標簽，在所述關聯的圖片中確定所述像素塊對應的關聯像素塊；確定所述關聯像素塊中每一個像素點的取值。

可選地，基于所述像素塊對應的語義標簽、以及所述相關聯的圖片的語義標簽，在所述關聯的圖片中確定所述像素塊對應的關聯像素塊包括：針對像素塊中的每一個像素點，在所述相關聯的圖片中確定該像素點的關聯像素點；基于每一個關聯像素點的位置，確定與像素塊對應的初始關聯像素塊；基于所述像素塊中像素點對應的語義標簽、以及初始關聯像素塊對應的語義標簽，在初始關聯像素塊中確定像素塊對應的關聯像素塊。

可選地，基于每一個關聯像素點的位置，確定與像素塊對應的初始關聯像素塊包括：基于每一個關聯像素點的位置，確定每一個關聯像素點對應的鄰域像素，其中，鄰域像素中包含預設數量的鄰域像素點；將所有關聯像素點對應的所有鄰域像素確定為初始關聯像素塊。

可選地，基于所述像素塊對應的語義標簽、以及初始關聯像素塊對應的語義標簽，在初始關聯像素塊中確定像素塊對應的關聯像素塊包括：過濾掉鄰域像素中語義標簽與像素點的語義標簽不符的鄰域像素點，得到每一個關聯像素點對應的目標鄰域像素，其中，所有關聯像素點對應的目標鄰域像素構成關聯像素塊。

可選地，確定所述關聯像素塊中每一個像素點的取值包括：基于目標鄰域像素中的像素點的像素值，利用預設的計算策略，計算得到對應的關聯像素點的像素值。

根據本公開的第二方面，提供了一種用于多視圖三維重建的信息處理裝置，包括：像素塊確定單元，被配置成在獲取到經語義識別后的參考圖片、以及經語義識別后的與參考圖片相關聯的圖片后，針對參考圖片中的目標像素點，確定其對應的像素塊；關聯像素塊確定單元，被配置成基于所述像素塊對應的語義標簽、以及所述相關聯的圖片的語義標簽，在所述關聯的圖片中確定所述像素塊對應的關聯像素塊；像素值確定單元，被配置成確定所述關聯像素塊中每一個像素點的取值。

可選地，基于所述像素塊對應的語義標簽、以及所述相關聯的圖片的語義標簽，在所述關聯的圖片中確定所述像素塊對應的關聯像素塊進一步被配置成：針對像素塊中的每一個像素點，在所述相關聯的圖片中確定該像素點的關聯像素點；基于每一個關聯像素點的位置，確定與像素塊對應的初始關聯像素塊；基于所述像素塊中像素點對應的語義標簽、以及初始關聯像素塊對應的語義標簽，在初始關聯像素塊中確定像素塊對應的關聯像素塊。