[發(fā)明專利]視頻處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210458541.3
• 申請(qǐng)日: 2022-04-24
• 公開（公告）號(hào): CN114900704A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 磯部駿;陶鑫;戴宇榮
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): H04N19/85
• 分類號(hào): H04N19/85;H04N19/136
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 李加欣

1.一種視頻處理方法，其特征在于，所述方法包括：

基于第一視頻片段中多個(gè)壓縮視頻幀的質(zhì)量信息，確定第一傳播路徑和第二傳播路徑，所述第一傳播路徑用于指示多個(gè)目標(biāo)視頻幀的順序，所述目標(biāo)視頻幀為質(zhì)量滿足質(zhì)量條件的壓縮視頻幀，所述第二傳播路徑用于指示所述多個(gè)壓縮視頻幀的順序；

基于所述第一傳播路徑和所述第二傳播路徑，分別對(duì)所述多個(gè)目標(biāo)視頻幀和所述多個(gè)壓縮視頻幀進(jìn)行特征提取，得到第一特征和第二特征，所述第一特征用于表示所述多個(gè)目標(biāo)視頻幀的特征，所述第二特征用于表示所述多個(gè)壓縮視頻幀的特征；

基于所述第一特征和所述第二特征，生成第二視頻片段。

2.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述基于所述第一傳播路徑和所述第二傳播路徑，分別對(duì)所述多個(gè)目標(biāo)視頻幀和所述多個(gè)壓縮視頻幀進(jìn)行特征提取，包括：

基于所述第一傳播路徑，確定包括所述多個(gè)目標(biāo)視頻幀的目標(biāo)視頻幀序列；

基于所述第二傳播路徑，確定包括所述多個(gè)壓縮視頻幀的壓縮視頻幀序列；

基于循環(huán)卷積神經(jīng)網(wǎng)絡(luò)，分別對(duì)所述目標(biāo)視頻幀序列和所述壓縮視頻幀序列進(jìn)行特征提取，得到所述第一特征和所述第二特征。

3.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述基于所述第一特征和所述第二特征，生成第二視頻片段，包括：

在特征維度上對(duì)所述第一特征和所述第二特征進(jìn)行拼接，得到拼接特征，所述拼接特征的特征維度數(shù)等于所述第一特征的特征維度數(shù)和所述第二特征的特征維度數(shù)的和；

基于所述拼接特征，生成所述第二視頻片段。

4.根據(jù)權(quán)利要求3所述的視頻處理方法，其特征在于，所述基于所述拼接特征，生成所述第二視頻片段，包括：

對(duì)所述拼接特征進(jìn)行殘差處理，得到第一目標(biāo)特征；

對(duì)所述第一目標(biāo)特征進(jìn)行超分辨率處理，生成所述第二視頻片段。

5.根據(jù)權(quán)利要求3所述的視頻處理方法，其特征在于，所述基于所述拼接特征，生成所述第二視頻片段，包括：

基于可變形卷積的特征提取算子，對(duì)所述拼接特征進(jìn)行卷積，得到第二目標(biāo)特征；

對(duì)所述第二目標(biāo)特征進(jìn)行超分辨率處理，生成所述第二視頻片段。

6.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述基于所述第一特征和所述第二特征，生成第二視頻片段，包括：

獲取所述第一特征的權(quán)重參數(shù)和所述第二特征的權(quán)重參數(shù)；

根據(jù)所述第一特征的權(quán)重參數(shù)和所述第二特征的權(quán)重參數(shù)，通過注意力機(jī)制對(duì)所述第一特征和所述第二特征進(jìn)行加權(quán)融合，得到第三目標(biāo)特征；

對(duì)所述第三目標(biāo)特征進(jìn)行超分辨率處理，生成所述第二視頻片段。

7.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述基于所述第一特征和所述第二特征，生成第二視頻片段，包括：

獲取所述第一特征的權(quán)重參數(shù)和所述第二特征的權(quán)重參數(shù)；

根據(jù)所述第一特征的權(quán)重參數(shù)和所述第二特征的權(quán)重參數(shù)，通過注意力機(jī)制對(duì)所述第一特征和所述第二特征進(jìn)行加權(quán)融合，得到融合特征；

對(duì)所述融合特征進(jìn)行殘差處理，得到第四目標(biāo)特征；

對(duì)所述第四目標(biāo)特征進(jìn)行超分辨率處理，生成所述第二視頻片段。

8.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述基于第一視頻片段中多個(gè)壓縮視頻幀的質(zhì)量信息，確定第一傳播路徑和第二傳播路徑，包括：

獲取所述多個(gè)壓縮視頻幀的質(zhì)量信息，所述質(zhì)量信息為壓縮視頻幀的質(zhì)量參數(shù)，所述質(zhì)量參數(shù)與對(duì)應(yīng)的壓縮視頻幀的質(zhì)量反相關(guān)；

從所述多個(gè)壓縮視頻幀中，獲取質(zhì)量參數(shù)低于質(zhì)量參數(shù)閾值的多個(gè)目標(biāo)視頻幀；

基于所述多個(gè)目標(biāo)視頻幀的時(shí)序，確定所述第一傳播路徑；

基于所述多個(gè)壓縮視頻幀的時(shí)序，確定所述第二傳播路徑。