[發明專利]用于三維重建的紋理優化方法及裝置

在審

• 申請號: 202011290387.0
• 申請日: 2020-11-18
• 公開（公告）號: CN112348939A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 杜峰;嚴慶安;郭復勝;劉享軍
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T7/10;G06T7/80
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了一種用于三維重建的紋理優化方法及裝置。方法的一具體實施方式包括：獲取三維模型以及與三維模型對應的至少一幀關鍵幀圖像；投影三維模型，得到與至少一幀關鍵幀圖像一一對應的投影圖像；將至少一幀關鍵幀圖像中的每幀關鍵幀圖像，與所對應的投影圖像進行圖像對齊，得到至少一幀對齊后關鍵幀圖像；根據至少一幀對齊后關鍵幀圖像，確定三維模型的紋理信息。本申請提供了一種用于三維重建的紋理優化方法，提高了三維模型的紋理信息的清晰度，提升了三維模型質量。

技術領域

本申請實施例涉及計算機技術領域，具體涉及一種用于三維重建的紋理優化方法及裝置。

背景技術

三維重建技術是計算機圖像學和計算機視覺領域中的重要技術。隨著電子商務的不斷發展，對物品進行三維展示的需求也不斷增加，而紋理映射在物品的展示中起著重要的作用。近年來，各種消費級深度攝像頭不斷出現，基于深度圖像的三維重建技術得到了快速發展。但在很多情況下，基于三維重建技術得到的三維模型的紋理信息比較模糊。

發明內容

本申請實施例提出了一種用于三維重建的紋理優化方法及裝置。

第一方面，本申請實施例提供了一種用于三維重建的紋理優化方法，包括：獲取三維模型以及與三維模型對應的至少一幀關鍵幀圖像；投影三維模型，得到與至少一幀關鍵幀圖像一一對應的投影圖像；將至少一幀關鍵幀圖像中的每幀關鍵幀圖像，與所對應的投影圖像進行圖像對齊，得到至少一幀對齊后關鍵幀圖像；根據至少一幀對齊后關鍵幀圖像，確定三維模型的紋理信息。

在一些實施例中，上述將至少一幀關鍵幀圖像中的每幀關鍵幀圖像，與所對應的投影圖像進行圖像對齊，得到至少一幀對齊后關鍵幀圖像，包括：針對于至少一幀關鍵幀圖像中的每幀關鍵幀圖像，執行如下操作：基于光流法，確定該關鍵幀圖像與對應于該關鍵幀圖像的投影圖像之間的偏移信息；根據偏移信息，調整該關鍵幀圖像，得到該關鍵幀圖像對應的對齊后關鍵幀圖像。

在一些實施例中，上述基于光流法，確定該關鍵幀圖像與對應于該關鍵幀圖像的投影圖像之間的偏移信息，包括：確定該關鍵幀圖像和對應于該關鍵幀圖像的投影圖像各自的感興趣區域；根據感興趣區域，裁剪該關鍵幀圖像和對應于該關鍵幀圖像的投影圖像，分別得到裁剪后關鍵幀圖像和裁剪后投影圖像；基于光流法，確定裁剪后關鍵幀圖像與裁剪后投影圖像之間的偏移信息；以及

上述根據偏移信息，調整該關鍵幀圖像，得到該關鍵幀圖像對應的對齊后關鍵幀圖像，包括：根據裁剪后關鍵幀圖像與裁剪后投影圖像之間的偏移信息，調整裁剪后關鍵幀圖像，得到對齊后裁剪圖像；以對齊后裁剪圖像作為對齊后關鍵幀圖像的感興趣區域，得到該關鍵幀圖像對應的對齊后關鍵幀圖像。

在一些實施例中，上述投影三維模型，得到與至少一幀關鍵幀圖像一一對應的投影圖像，包括：針對于至少一幀關鍵幀圖像中的每幀關鍵幀圖像，執行如下操作：確定該關鍵幀圖像對應的相機姿態信息、相機內參信息；根據相機內參信息確定投影信息；根據相機姿態信息和投影信息，得到三維模型對應于該關鍵幀圖像的投影圖像。

在一些實施例中，上述根據至少一幀對齊后關鍵幀圖像，確定三維模型的紋理信息，包括：根據反投影關系，將至少一幀對齊后關鍵幀圖像映射至三維模型，確定三維模型的紋理信息。

第二方面，本申請實施例提供了一種用于三維重建的紋理優化裝置，包括：獲取單元，被配置成獲取三維模型以及與三維模型對應的至少一幀關鍵幀圖像；投影單元，被配置成投影三維模型，得到與至少一幀關鍵幀圖像一一對應的投影圖像；對齊單元，被配置成將至少一幀關鍵幀圖像中的每幀關鍵幀圖像，與所對應的投影圖像進行圖像對齊，得到至少一幀對齊后關鍵幀圖像；確定單元，被配置成根據至少一幀對齊后關鍵幀圖像，確定三維模型的紋理信息。