[發明專利]用于三維重建的紋理優化方法及裝置

在審

• 申請號: 202011290387.0
• 申請日: 2020-11-18
• 公開（公告）號: CN112348939A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 杜峰;嚴慶安;郭復勝;劉享軍
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T7/10;G06T7/80
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于三維重建的紋理優化方法，包括：

獲取三維模型以及與所述三維模型對應的至少一幀關鍵幀圖像；

投影所述三維模型，得到與所述至少一幀關鍵幀圖像一一對應的投影圖像；

將所述至少一幀關鍵幀圖像中的每幀關鍵幀圖像，與所對應的投影圖像進行圖像對齊，得到至少一幀對齊后關鍵幀圖像；

根據所述至少一幀對齊后關鍵幀圖像，確定所述三維模型的紋理信息。

2.根據權利要求1所述的方法，其中，所述將所述至少一幀關鍵幀圖像中的每幀關鍵幀圖像，與所對應的投影圖像進行圖像對齊，得到至少一幀對齊后關鍵幀圖像，包括：

針對于所述至少一幀關鍵幀圖像中的每幀關鍵幀圖像，執行如下操作：

基于光流法，確定該關鍵幀圖像與對應于該關鍵幀圖像的投影圖像之間的偏移信息；

根據所述偏移信息，調整該關鍵幀圖像，得到該關鍵幀圖像對應的對齊后關鍵幀圖像。

3.根據權利要求2所述的方法，其中，所述基于光流法，確定該關鍵幀圖像與對應于該關鍵幀圖像的投影圖像之間的偏移信息，包括：

確定該關鍵幀圖像和對應于該關鍵幀圖像的投影圖像各自的感興趣區域；

根據感興趣區域，裁剪該關鍵幀圖像和對應于該關鍵幀圖像的投影圖像，分別得到裁剪后關鍵幀圖像和裁剪后投影圖像；

基于光流法，確定所述裁剪后關鍵幀圖像與所述裁剪后投影圖像之間的偏移信息；以及

所述根據所述偏移信息，調整該關鍵幀圖像，得到該關鍵幀圖像對應的對齊后關鍵幀圖像，包括：

根據所述裁剪后關鍵幀圖像與所述裁剪后投影圖像之間的偏移信息，調整所述裁剪后關鍵幀圖像，得到對齊后裁剪圖像；

以所述對齊后裁剪圖像作為所述對齊后關鍵幀圖像的感興趣區域，得到該關鍵幀圖像對應的所述對齊后關鍵幀圖像。

4.根據權利要求1所述的方法，其中，所述投影所述三維模型，得到與所述至少一幀關鍵幀圖像一一對應的投影圖像，包括：

針對于所述至少一幀關鍵幀圖像中的每幀關鍵幀圖像，執行如下操作：

確定該關鍵幀圖像對應的相機姿態信息、相機內參信息；

根據所述相機內參信息確定投影信息；

根據所述相機姿態信息和所述投影信息，得到所述三維模型對應于該關鍵幀圖像的投影圖像。

5.根據權利要求1所述的方法，其中，所述根據所述至少一幀對齊后關鍵幀圖像，確定所述三維模型的紋理信息，包括：

根據反投影關系，將所述至少一幀對齊后關鍵幀圖像映射至所述三維模型，確定所述三維模型的紋理信息。

6.一種用于三維重建的紋理優化裝置，包括：

獲取單元，被配置成獲取三維模型以及與所述三維模型對應的至少一幀關鍵幀圖像；

投影單元，被配置成投影所述三維模型，得到與所述至少一幀關鍵幀圖像一一對應的投影圖像；

對齊單元，被配置成將所述至少一幀關鍵幀圖像中的每幀關鍵幀圖像，與所對應的投影圖像進行圖像對齊，得到至少一幀對齊后關鍵幀圖像；

確定單元，被配置成根據所述至少一幀對齊后關鍵幀圖像，確定所述三維模型的紋理信息。

7.根據權利要求6所述的裝置，其中，所述對齊單元，進一步被配置成：

針對于所述至少一幀關鍵幀圖像中的每幀關鍵幀圖像，執行如下操作：基于光流法，確定該關鍵幀圖像與對應于該關鍵幀圖像的投影圖像之間的偏移信息；根據所述偏移信息，調整該關鍵幀圖像，得到該關鍵幀圖像對應的對齊后關鍵幀圖像。