[發(fā)明專利]視頻增強(qiáng)方法及裝置、電子設(shè)備、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010344386.3
• 申請(qǐng)日: 2020-04-27
• 公開(kāi)（公告）號(hào): CN111583138B
• 公開(kāi)（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 張弓
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/0464
• 代理公司: 深圳市聯(lián)鼎知識(shí)產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

1.一種視頻增強(qiáng)方法，其特征在于，包括：

獲取待處理視頻中的多個(gè)視頻幀，將每個(gè)所述視頻幀劃分為多個(gè)圖像塊；

針對(duì)每個(gè)所述視頻幀，從所述多個(gè)視頻幀中選取該視頻幀的參考幀，并針對(duì)該視頻幀中的單個(gè)圖像塊，從所獲取的候選運(yùn)動(dòng)矢量中選取最優(yōu)運(yùn)動(dòng)矢量和次優(yōu)運(yùn)動(dòng)矢量，其中，基于所述最優(yōu)/次優(yōu)運(yùn)動(dòng)矢量所確定的圖像塊，與該單個(gè)圖像塊的匹配度為最優(yōu)/次優(yōu)；

根據(jù)所述最優(yōu)運(yùn)動(dòng)矢量和所述次優(yōu)運(yùn)動(dòng)矢量，確定矩形搜索窗，所述矩形搜索窗用于確定運(yùn)動(dòng)矢量的選取范圍；

根據(jù)所述矩形搜索窗以及該單個(gè)圖像塊，確定所述參考幀中的多個(gè)搜索圖像塊，并分別計(jì)算各個(gè)搜索圖像塊與該單個(gè)圖像塊的匹配度；

將所述匹配度從大到小排序，選取前預(yù)設(shè)數(shù)量個(gè)匹配度對(duì)應(yīng)的搜索圖像塊，作為與該單個(gè)圖像塊匹配的目標(biāo)圖像塊；

將該視頻幀中的單個(gè)圖像塊和所述預(yù)設(shè)數(shù)量個(gè)目標(biāo)圖像塊輸入視頻處理模型，確定該單個(gè)圖像塊對(duì)應(yīng)的增強(qiáng)圖像塊；

將每個(gè)視頻幀中多個(gè)圖像塊各自對(duì)應(yīng)的增強(qiáng)圖像塊進(jìn)行拼接，得到該視頻幀的增強(qiáng)視頻幀，并基于所述多個(gè)視頻幀各自對(duì)應(yīng)的增強(qiáng)視頻幀，確定增強(qiáng)視頻。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，針對(duì)該視頻幀中的單個(gè)圖像塊，所述候選運(yùn)動(dòng)矢量，包括：

在該視頻幀中與該單個(gè)圖像塊相鄰的圖像塊對(duì)應(yīng)的第一運(yùn)動(dòng)矢量；

該視頻幀的前L個(gè)視頻幀中，相同位置的圖像塊對(duì)應(yīng)的第二運(yùn)動(dòng)矢量，L為正整數(shù)；

將所述第一運(yùn)動(dòng)矢量和所述第二運(yùn)動(dòng)矢量分別與對(duì)應(yīng)的隨機(jī)運(yùn)動(dòng)矢量相加之后所得到的第三運(yùn)動(dòng)矢量和第四運(yùn)動(dòng)矢量。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述候選運(yùn)動(dòng)矢量，還包括：

在兩個(gè)坐標(biāo)軸方向均為0的運(yùn)動(dòng)矢量；以及

所述第一運(yùn)動(dòng)矢量、所述第二運(yùn)動(dòng)矢量、所述第三運(yùn)動(dòng)矢量和所述第四運(yùn)動(dòng)矢量的平均值。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，每個(gè)所述搜索圖像塊與該單個(gè)圖像塊的匹配度的計(jì)算方式，包括：

計(jì)算每個(gè)所述搜索圖像塊與該單個(gè)圖像塊的匹配誤差，根據(jù)得到的匹配誤差確定匹配度；或者

計(jì)算每個(gè)所述搜索圖像塊與該單個(gè)圖像塊的歐氏距離，根據(jù)得到的歐氏距離確定匹配度；或者

計(jì)算每個(gè)所述搜索圖像塊與該單個(gè)圖像塊的紋理梯度，根據(jù)得到的紋理梯度確定匹配度。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述最優(yōu)運(yùn)動(dòng)矢量和所述次優(yōu)運(yùn)動(dòng)矢量，確定矩形搜索窗，包括：

將所述最優(yōu)運(yùn)動(dòng)矢量和所述次優(yōu)運(yùn)動(dòng)矢量相減，得到矢量差值；

將所述矢量差值作為對(duì)角線向量，以構(gòu)建矩形搜索窗。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將該視頻幀中的單個(gè)圖像塊和所述預(yù)設(shè)數(shù)量個(gè)目標(biāo)圖像塊輸入視頻處理模型之前，所述方法還包括：

獲取多個(gè)樣本數(shù)據(jù)，每個(gè)樣本數(shù)據(jù)包括：樣本視頻幀中的樣本圖像塊、樣本視頻幀的參考幀中預(yù)設(shè)數(shù)量個(gè)與該樣本圖像塊匹配的圖像塊，以及該樣本圖像塊對(duì)應(yīng)的增強(qiáng)圖像塊；

根據(jù)多個(gè)樣本圖像塊以及各自對(duì)應(yīng)的預(yù)設(shè)數(shù)量個(gè)匹配圖像塊，與多個(gè)增強(qiáng)圖像塊之間的映射關(guān)系進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，得到所述視頻處理模型。