[發明專利]實現虛實融合的方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110763864.9
• 申請日: 2021-07-06
• 公開（公告）號: CN113409473B
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 簡藝;孫紅亮;王子彬;李炳澤
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/20;G06T7/73
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種實現虛實融合的方法，其特征在于，包括：

獲取到待融合區域的圖像數據；

對所述圖像數據中待融合區域進行劃分，得到待融合區域的各目標區域；

基于所述圖像數據構建所述待融合區域的虛擬模型；

確定所述各目標區域在所述虛擬模型中對應的位置信息；

基于所述位置信息在所述虛擬模型內的各目標區域對應添加虛擬內容，以對所述待融合區域的各目標區域進行虛實融合；

其中，所述基于所述圖像數據構建所述待融合區域的虛擬模型，包括：

對所述圖像數據進行特征提取，得到待融合區域的虛擬地圖；所述圖像數據包括至少兩個的位姿；

分別對至少兩個位姿的圖像數據和所述虛擬地圖進行深度估計，生成至少兩個圖像深度圖，并分別將至少兩個圖像深度圖對應融合成至少兩個點云；

將至少兩個點云進行整合，得到所述待融合區域的稠密點云；

基于所述稠密點云中各點的可見性以及重投影誤差生成所述虛擬模型。

2.根據權利要求1所述的實現虛實融合的方法，其特征在于，所述對所述圖像數據進行特征提取，得到待融合區域的虛擬地圖，包括：

對多張所述圖像數據進行特征提取，得到各圖像數據的特征點；

對各圖像數據的特征點進行特征點匹配，得到各圖像數據的特征點之間的對應關系；

基于所述各圖像數據的位姿以及對所述對應關系對所述特征點進行三角化，以構建所述虛擬地圖。

3.根據權利要求1所述的實現虛實融合的方法，其特征在于，所述對所述圖像數據中待融合區域進行劃分，得到待融合區域的各目標區域，包括：

通過神經網絡對所述圖像數據中待融合區域進行劃分，得到待融合區域的各目標區域及其在所述圖像數據上的坐標信息；

所述在所述虛擬模型中確定所述各目標區域對應的位置信息，包括：

基于各目標區域及其在所述圖像數據上的坐標信息以及所述圖像數據的位姿確定所述各目標區域在所述虛擬模型中對應的位置信息。

4.根據權利要求3所述的實現虛實融合的方法，其特征在于，所述圖像數據包括至少兩個的位姿，

所述基于各目標區域及其在所述圖像數據上的坐標信息以及所述圖像數據的位姿確定所述各目標區域在所述虛擬模型中對應的位置信息，包括：

基于各目標區域在至少兩個位姿對應的圖像數據上的坐標信息確定各相同目標區域在至少兩個位姿對應的圖像數據上的匹配關系；

基于所述匹配關系確定所述各目標區域在所述虛擬模型中對應的三維位置信息；

所述基于所述位置信息在所述虛擬模型內的各目標區域對應添加虛擬內容，包括：

基于所述三維位置信息在所述虛擬模型內的各目標區域對應添加虛擬內容。

5.根據權利要求4所述的實現虛實融合的方法，其特征在于，所述基于所述三維位置信息在所述虛擬模型內的各目標區域對應添加虛擬內容，包括：

基于所述三維位置信息在所述虛擬模型內的各目標區域對應添加三維虛擬特效。

6.根據權利要求3-5任一項所述的實現虛實融合的方法，其特征在于，所述獲取到待融合區域的圖像數據之前，包括：

通過訓練樣本對初始網絡進行訓練；

響應于初始網絡對訓練樣本的各目標區域的劃分的準確率滿足預設準確率，則停止訓練，得到所述神經網絡。