[發(fā)明專利]一種基于深度學習的視頻畫質(zhì)增強系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202111495910.8
• 申請日: 2021-12-09
• 公開（公告）號: CN113902651B
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計）人: 張衛(wèi)平;岑全;丁園;張偉
• 申請（專利權(quán)）人: 環(huán)球數(shù)科集團有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 北京清控智云知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11919
• 代理人: 馬肅

1.一種基于深度學習的視頻畫質(zhì)增強系統(tǒng)，其特征在于，包括幀提取模塊，幀增強模塊、幀間增強模塊、學習處理模塊、反饋模塊和視頻還原模塊，所述幀提取模塊將視頻處理成多幀幀畫面，所述幀增強模塊對單獨的幀畫面進行畫質(zhì)增強，所述幀間增強模塊依據(jù)相鄰兩幀畫面的關(guān)系對幀畫面進行畫質(zhì)增強，所述學習處理模塊提供用于進行畫質(zhì)增強的處理模型，所述反饋模塊用于計算處理后的幀畫面的整體協(xié)調(diào)性Q并反饋給所述學習處理模塊，所述學習處理模塊依據(jù)反饋結(jié)果對處理模型進行改進，所述視頻還原模塊用于將處理后的幀畫面重組成視頻形式；

所述處理模型包括幀處理模型和幀間處理模型，所述幀增強模塊執(zhí)行所述幀處理模型，所述幀間增強模塊執(zhí)行所述幀間處理模型；

所述幀處理模型將分辨率為X₀*Y₀的待處理幀畫面擴大為分辨率為X₁*Y₁的初始幀畫面，并將初始幀畫面中的像素點依據(jù)相鄰像素點信息是否相同劃分為多個點集，所述點集中的邊緣點依據(jù)計算的融合度Z決定是否改變像素點信息，所述融合度Z的計算公式為：

；

其中，n₁、n₂、n₃和n₄分別表示邊緣點鄰近區(qū)域內(nèi)像素點中屬于同一點集中的非邊緣點數(shù)量、屬于同一點集中的邊緣點數(shù)量、屬于不同點集中的非邊緣點數(shù)量和屬于不同點集中的邊緣點數(shù)量；

當融合度Z大于0時，該邊緣點保持不變，當Z小于0時，該邊緣點的像素點信息轉(zhuǎn)換成鄰近的點集中的像素點信息；

所述幀間處理模型利用像素點窗口獲取相鄰幀畫面中相同位置處像素點的灰度信息得到兩個矩陣P1和P2，并對兩個矩陣進行如下操作得到矩陣卷差C：

；

其中，a_ij為矩陣P1中的元素，b_ij為矩陣P2中的元素，m，n分別為像素點窗口的長度和寬度；

依據(jù)所述矩陣卷差C計算得到矩陣P1中的周邊元素對應的像素點的灰度待變量△，所述像素點窗口遍歷完相鄰的幀畫面后，對每一個像素點的灰度待變量△計算總和得到修正量△’，所述幀間處理模型依據(jù)所述修正量△’對所有像素點進行灰度變化處理。

2.如權(quán)利要求1所述的一種基于深度學習的視頻畫質(zhì)增強系統(tǒng)，其特征在于，所述幀處理模型將待處理幀畫面中的(a，b)像素點信息復制到所述初始幀畫面的(c，d)像素點信息中，a，b，c，d滿足如下條件：

。

3.如權(quán)利要求2所述的一種基于深度學習的視頻畫質(zhì)增強系統(tǒng)，其特征在于，所述鄰近區(qū)域指坐標距離不超過4的像素點構(gòu)成的區(qū)域。

4.如權(quán)利要求3所述的一種基于深度學習的視頻畫質(zhì)增強系統(tǒng)，其特征在于，所述灰度待變量△的計算公式為：

。

5.如權(quán)利要求4所述的一種基于深度學習的視頻畫質(zhì)增強系統(tǒng)，其特征在于，所述整體協(xié)調(diào)性Q的計算公式為：

；

其中，Nz為像素點的灰度值在所有幀畫面中出現(xiàn)異常的次數(shù)，N為所有幀畫面的數(shù)量。