[發(fā)明專利]自適應(yīng)時(shí)域變分辨率編解碼方法、裝置、終端及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310072078.3
• 申請(qǐng)日: 2023-01-12
• 公開（公告）號(hào): CN116156173A
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 常崢;林宇翔;王苫社;馬思偉
• 申請(qǐng)（專利權(quán)）人: 鵬城實(shí)驗(yàn)室
• 主分類號(hào): H04N19/132
• 分類號(hào): H04N19/132;H04N19/102;H04N19/136;H04N19/169;H04N19/42;H04N19/593
• 代理公司: 深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 劉文求

1.一種自適應(yīng)時(shí)域變分辨率編解碼方法，其特征在于，所述方法包括：

獲取輸入視頻，將所述輸入視頻分為若干等長的子序列；

獲取各所述子序列分別對(duì)應(yīng)的場(chǎng)景運(yùn)動(dòng)特征，根據(jù)所述場(chǎng)景運(yùn)動(dòng)特征從各所述子序列中確定若干目標(biāo)子序列；

對(duì)各所述目標(biāo)子序列在時(shí)域上進(jìn)行下采樣操作，得到各所述目標(biāo)子序列分別對(duì)應(yīng)的降幀率序列；

對(duì)各所述目標(biāo)子序列的降幀率序列進(jìn)行編解碼操作，得到各所述目標(biāo)子序列分別對(duì)應(yīng)的解碼序列；

對(duì)各所述解碼序列在時(shí)域上進(jìn)行上采樣操作，得到各所述目標(biāo)子序列分別對(duì)應(yīng)的編解碼序列。

2.根據(jù)權(quán)利要求1所述的自適應(yīng)時(shí)域變分辨率編解碼方法，其特征在于，每一所述子序列的長度與時(shí)域基本單元的長度相等，所述時(shí)域基本單元的長度為2s。

3.根據(jù)權(quán)利要求1所述的自適應(yīng)時(shí)域變分辨率編解碼方法，其特征在于，所述下采樣操作為幀率兩倍下采樣。

4.根據(jù)權(quán)利要求1所述的自適應(yīng)時(shí)域變分辨率編解碼方法，其特征在于，所述獲取各所述子序列分別對(duì)應(yīng)的場(chǎng)景運(yùn)動(dòng)特征，根據(jù)所述場(chǎng)景運(yùn)動(dòng)特征從各所述子序列中確定若干目標(biāo)子序列，包括：

對(duì)每一所述子序列進(jìn)行所述下采樣操作，得到該子序列對(duì)應(yīng)的降幀率序列；

通過幀復(fù)制操作對(duì)該子序列的降幀率序列進(jìn)行幀率恢復(fù)，得到該子序列的恢復(fù)序列；

獲取該子序列和該子序列的恢復(fù)序列的相似度和預(yù)設(shè)的相似閾值，當(dāng)所述相似度值高于所述相似閾值時(shí)，判斷所述場(chǎng)景運(yùn)動(dòng)特征為運(yùn)動(dòng)平緩；

將所述場(chǎng)景運(yùn)動(dòng)特征為運(yùn)動(dòng)平緩的所述子序列作為所述目標(biāo)子序列。

5.根據(jù)權(quán)利要求1所述的自適應(yīng)時(shí)域變分辨率編解碼方法，其特征在于，所述上采樣操作為在每一所述解碼序列的相鄰兩個(gè)視頻幀之間生成內(nèi)插幀，所述內(nèi)插幀的生成方法包括：

獲取第一視頻幀和第二視頻幀分別對(duì)應(yīng)的時(shí)空域信息；

根據(jù)兩個(gè)所述時(shí)空域信息進(jìn)行正向和反向的預(yù)測(cè)操作，得到兩次所述預(yù)測(cè)操作分別對(duì)應(yīng)的內(nèi)插參考幀，其中，正向的預(yù)測(cè)起點(diǎn)為所述第一視頻幀，預(yù)測(cè)終點(diǎn)為所述第二視頻幀；反向的所述預(yù)測(cè)起點(diǎn)為所述第二視頻幀，所述預(yù)測(cè)終點(diǎn)為所述第一視頻幀；

將兩張所述內(nèi)插參考幀、所述第一視頻幀以及所述第二視頻幀進(jìn)行融合，得到所述第一視頻幀和所述第二視頻幀對(duì)應(yīng)的所述內(nèi)插幀。

6.根據(jù)權(quán)利要求5所述的自適應(yīng)時(shí)域變分辨率編解碼方法，其特征在于，所述時(shí)空域信息包括空域信息和時(shí)域特征，所述預(yù)測(cè)操作為：

根據(jù)所述預(yù)測(cè)起點(diǎn)和所述預(yù)測(cè)終點(diǎn)分別對(duì)應(yīng)的所述空域信息，確定所述預(yù)測(cè)起點(diǎn)和所述預(yù)測(cè)終點(diǎn)分別對(duì)應(yīng)的注意力權(quán)重；

根據(jù)所述預(yù)測(cè)起點(diǎn)和所述預(yù)測(cè)終點(diǎn)分別對(duì)應(yīng)的所述時(shí)域特征和所述注意力權(quán)重，確定融合時(shí)域特征；

根據(jù)所述預(yù)測(cè)終點(diǎn)的所述時(shí)域特征和所述融合時(shí)域特征，確定增強(qiáng)型時(shí)域特征；

根據(jù)所述預(yù)測(cè)終點(diǎn)的所述空域信息和所述增強(qiáng)型時(shí)域特征，確定所述內(nèi)插參考幀。

7.根據(jù)權(quán)利要求6所述的自適應(yīng)時(shí)域變分辨率編解碼方法，其特征在于，所述根據(jù)所述預(yù)測(cè)起點(diǎn)和所述預(yù)測(cè)終點(diǎn)分別對(duì)應(yīng)的所述空域信息，確定所述預(yù)測(cè)起點(diǎn)和所述預(yù)測(cè)終點(diǎn)分別對(duì)應(yīng)的注意力權(quán)重，包括：

根據(jù)所述預(yù)測(cè)終點(diǎn)的所述空域信息，獲取所述預(yù)測(cè)終點(diǎn)的空域特征；

根據(jù)所述預(yù)測(cè)起點(diǎn)的所述空域信息和所述空域特征進(jìn)行矩陣逐元素相乘操作，得到所述預(yù)測(cè)起點(diǎn)的注意力分?jǐn)?shù)；

根據(jù)所述預(yù)測(cè)終點(diǎn)的所述空域信息和所述空域特征進(jìn)行矩陣逐元素相乘操作，得到所述預(yù)測(cè)終點(diǎn)的注意力分?jǐn)?shù)；

根據(jù)所述預(yù)測(cè)起點(diǎn)和所述預(yù)測(cè)終點(diǎn)的所述注意力分?jǐn)?shù)，確定所述預(yù)測(cè)起點(diǎn)和所述預(yù)測(cè)終點(diǎn)分別對(duì)應(yīng)的所述注意力權(quán)重。

8.根據(jù)權(quán)利要求6所述的自適應(yīng)時(shí)域變分辨率編解碼方法，其特征在于，所述根據(jù)所述預(yù)測(cè)起點(diǎn)和所述預(yù)測(cè)終點(diǎn)分別對(duì)應(yīng)的所述時(shí)域特征和所述注意力權(quán)重，確定融合時(shí)域特征，包括：

根據(jù)所述預(yù)測(cè)起點(diǎn)和所述預(yù)測(cè)終點(diǎn)分別對(duì)應(yīng)的所述時(shí)域特征和所述注意力權(quán)重進(jìn)行加權(quán)求和，得到所述融合時(shí)域特征。