[發明專利]一種三維點云修復方法、裝置及電子設備

在審

• 申請號: 202011461890.8
• 申請日: 2020-12-11
• 公開（公告）號: CN112530027A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 陳平;楊東
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;高鶯然

1.一種三維點云修復方法，其特征在于，所述方法包括：

獲取待修復三維點云；

按照預設映射關系，對所述待修復三維點云進行UV展開，得到待修復UV圖像；

將所述待修復UV圖像輸入預先訓練好的三維修復模型，得到修復后UV圖像，所述三維修復模型為根據預設訓練集對神經網絡進行訓練得到的模型，所述預設訓練集包括樣本完整UV圖像和空洞掩模，所述樣本完整UV圖像為按照所述預設映射關系，對所述樣本完整三維點云進行UV展開得到的UV圖像，所述樣本完整三維點云不存在空洞；

按照所述預設映射關系，對所述修復后UV圖像進行采樣，得到所述待修復三維點云對應的完整三維點云。

2.根據權利要求1所述的方法，其特征在于，所述三維修復模型采用如下步驟訓練得到：

獲取所述預設訓練集，所述預設訓練集包括所述樣本完整UV圖像和所述空洞掩模；

將所述空洞掩模作用于所述樣本完整UV圖像，得到第一樣本空洞UV圖像；

將所述第一樣本空洞UV圖像輸入神經網絡，得到預測UV圖像；

根據所述預測UV圖像和所述樣本完整UV圖像，確定所述神經網絡的損失值；

若根據所述損失值確定所述神經網絡未收斂，則調整所述神經網絡的參數，并重新執行所述將所述第一樣本空洞UV圖像輸入神經網絡，得到預測UV圖像的步驟；

若根據所述損失值確定所述神經網絡收斂，則結束訓練，將所述神經網絡作為三維修復模型。

3.根據權利要求2所述的方法，其特征在于，所述獲取所述預設訓練集的步驟，包括：

獲取樣本空洞三維點云；按照所述預設映射關系，對所述樣本空洞三維點云進行UV展開，得到第二樣本空洞UV圖像；提取所述第二樣本空洞UV圖像中未映射到三維點的區域，得到空洞掩模；和/或

獲取樣本完整三維點云；按照所述預設映射關系，對所述樣本完整三維點云進行UV展開，得到樣本完整UV圖像。

4.根據權利要求2所述的方法，其特征在于，所述根據所述預測UV圖像和所述樣本完整UV圖像，確定所述神經網絡的損失值的步驟，包括：

利用如下公式，確定所述神經網絡的損失值：

其中，L_sr表示所述神經網絡的損失值，I_UV表示所述預測UV圖像，表示所述樣本完整UV圖像，f_s(x,y)表示利用x對y進行采樣，R表示所述預設映射關系。

5.一種三維點云修復裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取待修復三維點云；

映射單元，用于按照預設映射關系，對所述待修復三維點云進行UV展開，得到待修復UV圖像；

修復單元，用于將所述待修復UV圖像輸入預先訓練好的三維修復模型，得到修復后UV圖像，所述三維修復模型為根據預設訓練集對神經網絡進行訓練得到的模型，所述預設訓練集包括樣本完整UV圖像和空洞掩模，所述樣本完整UV圖像為按照所述預設映射關系，對所述樣本完整三維點云進行UV展開得到的UV圖像，所述樣本完整三維點云不存在空洞；

采樣單元，用于按照所述預設映射關系，對所述修復后UV圖像進行采樣，得到所述待修復三維點云對應的完整三維點云。

6.根據權利要求5所述的裝置，其特征在于，所述裝置還包括訓練單元，用于訓練得到所述三維修復模型，所述訓練單元包括：

獲取子單元，用于獲取所述預設訓練集，所述預設訓練集包括所述樣本完整UV圖像和所述空洞掩模；

作用子單元，用于將所述空洞掩模作用于所述樣本完整UV圖像，得到第一樣本空洞UV圖像；

預測子單元，用于將所述第一樣本空洞UV圖像輸入神經網絡，得到預測UV圖像；

確定子單元，用于根據所述預測UV圖像和所述樣本完整UV圖像，確定所述神經網絡的損失值；

處理子單元，用于若根據所述損失值確定所述神經網絡未收斂，則調整所述神經網絡的參數，并重新執行所述將所述第一樣本空洞UV圖像輸入神經網絡，得到預測UV圖像的步驟；若根據所述損失值確定所述神經網絡收斂，則結束訓練，將所述神經網絡作為三維修復模型。