[發明專利]一種全景視頻融合方法及裝置

有效

• 申請號: 201611176064.2
• 申請日: 2016-12-16
• 公開（公告）號: CN108205797B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 張欣;林耀冬;陳杰
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

1.一種全景視頻融合方法，其特征在于，包括：

獲取全景視頻圖像，其中，所述全景視頻圖像根據至少兩個長方體三維圖像拼接形成，各所述長方體三維圖分別對應預設場景的每個局部空間，各所述局部空間內分別安裝全景攝像頭；

當檢測到所述全景視頻圖像中有運動目標在拼接區域顯示異常時，從所述至少兩個長方體三維圖像中提取運動目標；

將所述運動目標插入所述全景視頻圖像的待融合區域，所述待融合區域是指所述拼接區域或者所述拼接區域附近區域；

采用泊松融合算法確定插入有運動目標的全景視頻圖像的融合區域中像素點的顏色值；

根據所述確定的像素點的顏色值對所述待融合區域進行圖像重構，形成融合有運動目標的全景視頻圖像。

2.如權利要求1所述的方法，其特征在于，從所述至少兩個長方體三維圖像中提取運動目標，具體包括：

從拼接區域對應的長方體三維圖像中確定對象圖像；

確定所述對象圖像中運動前景圖像對應的像素點；

根據確定的所述像素點識別運動目標的輪廓；

獲取所述運動目標的輪廓所對應圖像區域的掩碼信息；

根據所述掩碼信息提取所述運動目標。

3.如權利要求2所述的方法，其特征在于，從拼接區域對應的長方體三維圖像中確定對象圖像，具體包括：

確定運動目標所在的拼接區域所屬的長方體三維圖像；

將確定出的所述長方體三維圖像的地面圖像作為對象圖像。

4.如權利要求3所述的方法，其特征在于，確定所述對象圖像中運動前景圖像對應的像素點，具體包括：

采用高斯背景建模算法對選取的對象圖像中的每一像素點進行高斯背景模型檢測，確定運動前景圖像對應的像素點。

5.如權利要求1所述的方法，其特征在于，采用泊松融合算法確定插入有運動目標的全景視頻圖像的融合區域中像素點的顏色值，具體包括：

確定所述插入有運動目標的全景視頻圖像的顏色值的散度；以及，

根據所述全景視頻圖像的待融合區域的邊界約束條件生成稀疏矩陣；

構建以下泊松方程：

Ax=B （1）

其中，所述A為稀疏矩陣，所述B為插入有運動目標的全景視頻圖像的顏色值的散度，所述x為待求解的像素點的顏色值；

求解所述泊松方程，確定融合區域中像素點的顏色值；

其中，所述確定所述插入有運動目標的全景視頻圖像的顏色值的散度，包括：

計算運動目標對應的視頻圖像的梯度場，計算在拼接處有圖像顯示異常的全景視頻圖像的梯度場，計算插入有運動目標的全景視頻圖像的梯度場，對插入有運動目標的全景視頻圖像的梯度求偏導，確定出插入有運動目標的全景視頻圖像的散度值。

6.一種全景視頻融合裝置，其特征在于，包括：

獲取單元，用于獲取全景視頻圖像，其中，所述全景視頻圖像根據至少兩個長方體三維圖像拼接形成，各所述長方體三維圖分別對應預設場景的每個局部空間，各所述局部空間內分別安裝全景攝像頭；

提取單元，用于當檢測到所述全景視頻圖像中有運動目標在拼接區域顯示異常時，從所述至少兩個長方體三維圖像中提取運動目標；

融合單元，用于將所述運動目標插入所述全景視頻圖像的待融合區域，所述待融合區域是指所述拼接區域或者所述拼接區域附近區域；采用泊松融合算法確定插入有運動目標的全景視頻圖像的融合區域中像素點的顏色值；根據所述確定的像素點的顏色值對所述待融合區域進行圖像重構，形成融合有運動目標的全景視頻圖像。

7.如權利要求6所述的裝置，其特征在于，所述提取單元，具體用于：

從拼接區域對應的長方體三維圖像中確定對象圖像；

確定所述對象圖像中運動前景圖像對應的像素點；

根據確定的所述像素點識別運動目標的輪廓；

獲取所述運動目標的輪廓所對應圖像區域的掩碼信息；

根據所述掩碼信息提取所述運動目標。