[發明專利]圖像處理方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110077973.5
• 申請日: 2021-01-20
• 公開（公告）號: CN112785492A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 鄧瑞峰;林天威;李甫;張赫男
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/11;G06T7/90;G06T5/00;G06T7/50
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 王云紅;金愛靜

1.一種圖像處理方法，包括：

對目標圖像進行分割處理，并至少將所述目標圖像中的目標體所在區域與其他區域進行區分，獲得分割掩膜；

基于所述目標圖像和所述分割掩膜，獲得與所述目標體所在區域對應的遮擋區域，并估算出所述遮擋區域中至少部分區域的顏色修復信息和深度修復信息；

基于所述目標圖像的相關信息、所述顏色修復信息和所述深度修復信息在三維坐標系中構建針對所述目標圖像的目標三維點云數據；

基于所述目標三維點云數據生成與所述目標圖像匹配的至少展示所述目標體的三維效果的視頻數據。

2.根據權利要求1所述的方法，其中，所述基于所述目標圖像和所述分割掩膜，獲得與所述目標體所在區域對應的遮擋區域，并估算出所述遮擋區域中至少部分區域的顏色修復信息，包括：

基于所述目標圖像和所述分割掩膜，確定所述目標圖像中的背景區域，所述背景區域為所述目標圖像中除所述遮擋區域之外的區域；

確定所述目標圖像中所述背景區域的顏色信息，并基于所述背景區域的顏色信息估算出所述遮擋區域中至少部分區域的顏色修復信息。

3.根據權利要求1所述的方法，其中，基于所述目標圖像和所述分割掩膜，獲得與所述目標體所在區域對應的遮擋區域，并估算出所述遮擋區域中至少部分區域的深度修復信息，包括：

基于所述目標圖像和所述分割掩膜，確定所述目標圖像中的背景區域，所述背景區域為所述目標圖像中除所述遮擋區域之外的區域；

確定所述目標圖像中所述背景區域的深度信息，并基于所述背景區域的深度信息估算出所述遮擋區域中至少部分區域的深度修復信息。

4.根據權利要求1所述的方法，其中，所述基于所述目標圖像的相關信息、所述顏色修復信息和所述深度修復信息在三維坐標系中構建針對所述目標圖像的三維點云數據，包括：

基于所述目標圖像的深度信息，獲得所述目標圖像中各第一像素點的深度值；

基于所述深度修復信息，獲得所述遮擋區域中各第二像素點的深度值；

將所述目標圖像中各第一像素點和所述遮擋區域中各第二像素點映射到所述三維坐標系中，構造三維點云數據；其中，所述第一像素點或所述第二像素點在所述目標圖像所對應二維坐標系下的二維坐標作為所述三維點云數據中對應點的X、Y坐標，所述第一像素點的深度值或者所述第二像素點的深度值作為所述三維點云數據中對應點的Z坐標；

基于所述目標圖像確定所述第一像素點的顏色值，作為所述三維點云數據中對應點的顏色值，以及基于所述顏色修復信息確定所述第二像素點的顏色值，作為所述三維點云數據中對應點的顏色值，以得到所述目標三維點云數據。

5.根據權利要求1或4所述的方法，其中，所述基于所述目標三維點云數據生成與所述目標圖像匹配的至少展示所述目標體的三維效果的視頻數據，包括：

確定圖像采集軌跡；

基于所述目標三維點云數據，確定出與所述圖像采集軌跡匹配的多幀二維圖像；

基于所述多幀二維圖像，生成針對所述目標圖像的至少展示所述目標體的三維效果的視頻數據。

6.根據權利要求5所述的方法，還包括：

基于所述目標三維點云數據中相鄰的多個點構造面片；

基于與所述面片相關的點的相關信息，估算所述面片內至少一個衍生點的相關信息；其中，所述衍生點的相關信息包括所述衍生點的三維坐標和顏色值中的至少一種；

基于所述目標三維點云數據中各點的相關信息和所述衍生點的相關信息生成點云模型；

其中，基于所述目標三維點云數據，確定出與所述圖像采集軌跡匹配的多幀二維圖像，包括：基于所述點云模型，確定出與所述圖像采集軌跡匹配的多幀二維圖像。

7.根據權利要求6所述的方法，其中，所述基于所述目標三維點云數據中相鄰的多個點構造面片，包括：

針對所述目標圖像中各第一像素點和所述遮擋區域中各第二像素點的位置關系，確定所述目標三維點云數據中相鄰的多個點，將確定出的相鄰的多個點進行連接，以構造所述面片。