[發明專利]增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法

在審

• 申請號: 202211025357.6
• 申請日: 2022-08-25
• 公開（公告）號: CN115439381A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 趙浩;陳梅麗;謝亞光;祁偉
• 申請（專利權）人: 杭州當虹科技股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/00;G06T7/194;H04N5/232
• 代理公司: 浙江英普律師事務所 33238
• 代理人: 劉芬豪

1.一種增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，其特征在于，包括：

S10，獲取包括前景區域的視頻幀或圖片(fgr)和對應的掩模(pha)，以及高質量的背景視頻幀或圖片(bgr)，經過前后景序列及掩膜獲取，得到背景序列bgr以及前景序列及掩膜序列fgr，pha；

S20，從背景序列bgr中隨機選取一幀bgr1，根據bgr1在bgr中尋找具有相關性的其他背景幀，當bgr1無其他有相關性的背景幀時，則直接對bgr1作圖像仿射變換，得到bgr2；當bgr1在bgr中具有相關性幀時，則首先在具有相關性的所有序列中隨機選擇一幀，再執行仿射變換操作，得到bgr2；得到背景對bgr1，bgr2；

S30，進行前后景序列組合，輸入數據包括fgr，pha和bgr1，bgr2，若前景不需要存在于參考背景幀中，只需要一份fgr，pha，組合得到基準圖像序列gt_src與參考背景序列gt_bgr；若前景存在于參考背景幀中，在fgr，pha中選擇兩份具有前景相關性的前景序列fgr1，pha1，fgr2，pha2，再經過組合得到得到基準圖像序列gt_src與參考背景序列gt_bgr；

S40，對參考背景序列gt_bgr進行訓練數據增廣變換，得到訓練數據對lq，gt_bgr，gt；

S50，訓練輸入序列lq和參考背景序列gt_bgr經過背景質量優化模塊的處理后得到背景增強后的融合序列

S60，將融合序列和對應的基準圖像序列gt之間的最小化重建損失函數作為目標函數，通過梯度下降法找到背景質量優化模塊的最優參數θ；在訓練過程中，經過大量數據多次迭代訓練得到的參數θ用于提高融合序列的質量指標；

S70，優化后的背景質量提升模塊得到的融合序列為背景增強序列Y輸出，作為視頻流輸出。

2.如權利要求1所述的增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，其特征在于，S20中，所述仿射變換包括裁剪、翻轉、縮放、拉伸、旋轉、平移、色彩變換和對比度增強中的至少一種。

3.如權利要求1所述的增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，其特征在于，S30中，若前景不需要存在于參考背景幀中，只需要一份fgr，pha，組合得到基準圖像序列gt_src與參考背景序列gt_bgr的組合公式如下：

gt_src＝fgr*pha+bgr1*(1-pha)

gt_bgr＝bgr2。

4.如權利要求3所述的增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，其特征在于，S50中，得到基準序列gt的方式為：

gt＝lq*pha+gt_src*(1-pha)。

5.如權利要求1所述的增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，其特征在于，S30中，若前景存在于參考背景幀中，在fgr，，pha中選擇兩份具有前景相關性的前景序列fgr1，pha1，fgr2，pha2，再經過組合得到得到基準圖像序列gt_src與參考背景序列gt_bgr的組合公式如下：

gt_src＝fgr2*pha2+bgr2*(1-pha2)

gt_bgr＝fgr1*pha1+bgr1*(1-pha1)。

6.如權利要求3所述的增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，其特征在于，S50中，得到基準序列gt的方式為：

7.如權利要求1所述的增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，其特征在于，S40中，數據增廣變換使用多級串聯，每級的操作稱為T(x)，依次執行模糊操作、縮放操作、加噪操作和壓縮操作，k代表模糊核，表示卷積操作，r代表縮放比例，n代表加入的噪聲，JPEG代表進行壓縮，具體公式如下：

最終的Transforms是由n個T(x)級聯，n至少兩個以上，公式如下：

Transforms＝(T_n·T_n-1…T₁)(x)。