[發明專利]一種基于語義分析的視頻處理方法及裝置

在審

• 申請號: 201910628287.5
• 申請日: 2019-07-11
• 公開（公告）號: CN110516534A
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 蔡昭權;蔡映雪;陳伽;胡松;黃思博;李慧;胡輝;陳明陽
• 申請（專利權）人: 惠州學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/13;G06T7/136;G06T7/155;G06T7/194;G06T7/90
• 代理公司: 11429 北京中濟緯天專利代理有限公司
• 代理人: 覃婧嬋<國際申請>=<國際公布>=<進入

本公開揭示一種基于語義分析的視頻處理方法及裝置，首先通過度量前景背景像素對的可信度重新計算透明度估計值以獲得第一圖像的第一透明度遮罩，然后通過疊加灰度信息來生成新圖片并獲得第一圖像的第二透明度遮罩，并進一步修正第一圖像的第一透明度遮罩，最后利用修正的所述第一透明度遮罩將視頻中某一幀圖像的前景目標提取出來，并對提取后的前景目標進行語義分析。本公開能夠綜合利用視頻中某一幀圖像中前景背景像素對的可信度和灰度信息，提供一種新的基于語義分析的視頻處理的方案。

技術領域

本公開屬于圖像處理領域，特別涉及一種基于語義分析的視頻處理方法及裝置。

背景技術

在安防領域中，存在很多針對視頻中前景目標的語義分析的需求。

然而，現有技術中，雖然存在足夠多的語義分析的方案，但是關于如何利用前景背景像素對和灰度信息來提取視頻前景目標并進一步進行語義分析，尚未有相關新穎的實現方法。

發明內容

本公開提供了一種基于語義分析的視頻處理方法，包括如下步驟：

S100，對于視頻中的第一圖像，劃分該圖像中的所有前景像素集合F、所有背景像素集合B和所有未知像素集合Z；其中，所述第一圖像是從所述視頻中提取的某一幀圖像；

S200，給定某些前景背景像素對(F_i，B_j)，根據如下公式度量每個未知像素Z_k的透明度

其中，I_k為未知像素Z_k的RGB顏色值，所述前景像素F_i為距離未知像素Z_k最近的m個前景像素、所述背景像素B_j也為距離未知像素Z_k最近的m個背景像素，所述前景背景像素對(F_i，B_j)總計m²組；

S300，對于所述m²組中的每一組前景背景像素對(F_i，B_j)及其對應的根據如下公式度量前景背景像素對(F_i，B_j)的可信度n_ij：

其中，σ取值0.1，并選取可信度最高的MAX(n_ij)所對應的那一組前景背景像素對為(F_iMAX，B_jMAX)；

S400，根據如下公式計算每個未知像素Z_k的透明度估計值

S500，根據所述每個未知像素Z_k的透明度估計值初步確定所述第一圖像的第一透明度遮罩；

S600，對第一圖像疊加灰度信息以生成第二圖像，并對所述第二圖像劃分其所有前景像素集合、所有背景像素集合和所有未知像素集合；

S700，針對所述第二圖像，執行步驟S200至S500，以確定第二圖像的第一透明度遮罩，并將所述第二圖像的第一透明度遮罩作為第一圖像的第二透明度遮罩；

S800，利用所述第一圖像的第二透明度遮罩，修正所述第一圖像的第一透明度遮罩；

S900，根據步驟S800修正所得的第一圖像的第一透明度遮罩，對所述視頻的第一圖像中的前景目標進行提取，并對提取后的前景目標進行語義分析。

此外，本公開還揭示了一種基于語義分析的視頻處理裝置，包括：