[發明專利]增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法

在審

• 申請號: 202211025357.6
• 申請日: 2022-08-25
• 公開（公告）號: CN115439381A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 趙浩;陳梅麗;謝亞光;祁偉
• 申請（專利權）人: 杭州當虹科技股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/00;G06T7/194;H04N5/232
• 代理公司: 浙江英普律師事務所 33238
• 代理人: 劉芬豪

本發明公開了一種增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，包括：S10，得到背景序列bgr以及前景序列及掩膜序列fgr，pha；S20，從背景序列bgr中隨機選取一幀bgr1，當bgr1無其他有相關性的背景幀時，則直接對bgr1作圖像仿射變換，得到bgr2；當bgr1在bgr中具有相關性幀時，則首先在具有相關性的所有序列中隨機選擇一幀，再執行仿射變換操作，得到bgr2；得到背景對bgr1，bgr2；S30，進行前后景序列組合；S40，對參考背景序列gt_bgr進行訓練數據增廣變換，得到訓練數據對lq，gt_bgr，gt；S50，訓練輸入序列l_q和參考背景序列gt_bgr經過背景質量優化模塊的處理后得到背景增強后的融合序列S60，經過大量數據多次迭代訓練得到的參數θ用于提高融合序列的質量指標。

技術領域

本發明屬于視頻處理技術領域，具體涉及一種增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法。

背景技術

在現實生活中，為了減少視頻傳輸帶寬成本，需要使用降低傳輸碼率，視頻壓縮等手段，因此會出現播放端視頻畫質較差，細節丟失，不利于觀看的問題。

在此問題下提出的背景質量優化算法就是對較差的視頻進行背景優化，達到既能有很低的傳輸成本，又保持播放端視頻細節完整性的目的。這種算法可以節省更多傳輸資源用于提高前景區域細節的質量，在傳輸過程中背景優化的優先級可以降低，在接收端再進行質量提升，使背景的細節損失達到最低。

這種算法適用于監控類視頻，攝像機的鏡頭需要保持固定，否則處理后的視頻幀會存在背景扭曲等現象；另一方面，該算法對參考背景幀的畫質要求較高，如果提供了質量不夠的參考幀則處理的效果不會很理想。

發明內容

鑒于以上存在的問題，本發明提供一種增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，用于在因鏡頭抖動而導致拍攝的視頻畫面抖動、扭曲或模糊的情況下，仍能根據參考的背景幀獲得背景質量的大幅提升，并且前景細節不丟失，提高了背景質量優化算法的魯棒性。

為解決上述技術問題，本發明采用如下的技術方案：

一種增強鏡頭抖動場景下背景質量優化魯棒性的數據增強方法，包括：

S10，獲取包括前景區域的視頻幀或圖片(fgr)和對應的掩模(pha)，以及高質量的背景視頻幀或圖片(bgr)，經過前后景序列及掩膜獲取，得到背景序列bgr以及前景序列及掩膜序列fgr，pha；

S20，從背景序列bgr中隨機選取一幀bgr1，根據bgr1在bgr中尋找具有相關性的其他背景幀，當bgr1無其他有相關性的背景幀時，則直接對bgr1作圖像仿射變換，得到bgr2；當bgr1在bgr中具有相關性幀時，則首先在具有相關性的所有序列中隨機選擇一幀，再執行仿射變換操作，得到bgr2；得到背景對bgr1，bgr2；

S30，進行前后景序列組合，輸入數據包括fgr，pha和bgr1，bgr2，若前景不需要存在于參考背景幀中，只需要一份fgr，pha，組合得到基準圖像序列gt_src與參考背景序列gt_bgr；若前景存在于參考背景幀中，在fgr，pha中選擇兩份具有前景相關性的前景序列fgr1，pha1，fgr2，pha2，再經過組合得到得到基準圖像序列gt_src與參考背景序列gt_bgr；

S40，對參考背景序列gt_bgr進行訓練數據增廣變換，得到訓練數據對lq，gt_bgr，gt；

S50，訓練輸入序列lq和參考背景序列gt_bgr經過背景質量優化模塊的處理后得到背景增強后的融合序列