[發明專利]基于時序圖像數據的指定對象擦除方法及裝置

在審

• 申請號: 202111243504.2
• 申請日: 2021-10-25
• 公開（公告）號: CN113962964A
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 孫澒椿
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/50
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 丁彥峰

1.基于時序圖像數據的指定對象擦除方法，其特征在于，包括：

對象識別：采用自定義數據集進行遷移學習，獲得符合使用場景的對象識別模型；

擦除對象指定：確定源視頻的目標擦除對象，通過所述對象識別模型對所述目標擦除對象描述；

掩膜處理：對所述目標擦除對象所處區域進行掩膜處理，生成掩膜視頻；

光流場處理：將所述源視頻和所述掩膜視頻作為輸入，進行所述目標擦除對象的光流場計算，預估所述目標擦除對象在所述源視頻中的動態趨勢；

對象擦除處理：判斷所述目標擦除對象在所述源視頻中的動態趨勢是否超過預設的動態程度；當所述目標擦除對象在所述源視頻中的動態趨勢超過預設的動態程度，進行目標擦除對象與背景的像素融合。

2.根據權利要求1所述的基于時序圖像數據的指定對象擦除方法，其特征在于，將所述自定義數據集的自定義數據劃分為兩級類別，一級類別為對象大類，二級類別為對應于對象大類的對象子類。

3.根據權利要求1所述的基于時序圖像數據的指定對象擦除方法，其特征在于，通過所述對象識別模型對所述目標擦除對象描述方式包括：box識別框或目標擦除對象的外輪廓。

4.根據權利要求1所述的基于時序圖像數據的指定對象擦除方法，其特征在于，所述源視頻和掩膜視頻尺寸相同，源視頻和掩膜視頻的每幀內容一一對應；

將源視頻和掩膜視頻拆分成幀圖像序列，依據掩膜標注區域將幀圖像序列劃分成n個區域，并針對于每個區域計算光流場，光流場計算公式為：

其中，i，j為視頻幀序號，I為幀圖像，為計算光流模型。

5.根據權利要求4所述的基于時序圖像數據的指定對象擦除方法，其特征在于，對所述目標擦除對象進行正向光流預估和反向光流預估：先對目標擦除對象進行正向光流計算得到目標擦除對象的粗粒度光流場描述，再通過反向光流計算修正正向光流場的噪聲誤差；

反向光流計算修正正向光流場的噪聲誤差公式為：

其中，i，j為視頻幀序號，I為幀圖像，為計算光流模型，為單應性變換，H為反向單應性變量。

6.根據權利要求1所述的基于時序圖像數據的指定對象擦除方法，其特征在于，所述目標擦除對象與背景的像素融合過程中，對目標擦除對象的掩膜區域內的每一個像素計算一組候選像素值，候選像素值計算公式：

w_r＝exp(-e_r/ξ)

其中，為掩膜區域在m處的候選像素值，c_r為在m處的r鄰域內的顏色值，w_r為顏色值c_r的權重；e_r為顏色值的一致性誤差，ξ∈(0,1)為縮放系數。

7.根據權利要求6所述的基于時序圖像數據的指定對象擦除方法，其特征在于，通過所述候選像素值計算x，y兩個方向的梯度值進行融合，x，y兩個方向的梯度融合計算公式為：

其中，G_x(m)，G_y(m)分別為在m處的顏色梯度估計，為掩膜區域在m處的候選像素值，c_r為在m處的r鄰域內的顏色值，w_r為顏色值c_r的權重；Δ_x，Δ_y分別為掩膜區域在m處鄰域范圍內的x方向和y方向的變化量。