[發(fā)明專利]視頻編碼、解碼方法和裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011213490.5
• 申請(qǐng)日: 2020-11-04
• 公開（公告）號(hào): CN112040234B
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 張文杰;豆修鑫;宋嘉文;徐琴琴;樊鴻飛;蔡媛
• 申請(qǐng)（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): H04N19/177
• 分類號(hào): H04N19/177;H04N19/573;H04N19/577;H04N19/70;H04N21/6437;H04N21/4402;H04N21/2343
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 劉曉燕

本申請(qǐng)?zhí)峁┝艘环N視頻編碼、解碼方法和裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，其中，該視頻編碼方法包括：獲取待編碼視頻的待編碼圖像組，待編碼圖像組包括第一待編碼子圖像組和第二待編碼子圖像組；對(duì)第一待編碼子圖像組進(jìn)行幀內(nèi)刷新編碼，第一待編碼子圖像組中的每個(gè)第一待編碼子圖像被劃分為多個(gè)編碼區(qū)域，第一待編碼子圖像組的所有編碼區(qū)域中包含臟區(qū)域和非臟區(qū)域，臟區(qū)域?yàn)閰⒖妓鶎俚膱D像組以外的其他圖像組中的區(qū)域進(jìn)行編碼的區(qū)域；對(duì)第二待編碼子圖像組進(jìn)行編碼，第二待編碼子圖像組中的每個(gè)第二待編碼子圖像僅參考第一待編碼子圖像組中的非臟區(qū)域進(jìn)行編碼。通過本申請(qǐng)，解決了編解碼方式存在由于時(shí)延過大導(dǎo)致的實(shí)時(shí)音視頻通信時(shí)效性差的問題。

技術(shù)領(lǐng)域

本申請(qǐng)通信技術(shù)領(lǐng)域，尤其涉及一種視頻編碼、解碼方法和裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在實(shí)時(shí)音視頻通信（RTC）場(chǎng)景下，延遲是重要的技術(shù)指標(biāo)。在優(yōu)化延遲指標(biāo)時(shí)，需要同時(shí)考慮控制成本以及不影響用戶體驗(yàn)（即，視頻主觀質(zhì)量）。

相關(guān)技術(shù)中，RTC低延遲技術(shù)通過采用LDP編碼配置來降低采集端的編碼延遲。圖1示出了LDP編碼方式的幀類型、以及幀與幀之間的參考關(guān)系。如圖1所示，箭頭方向表示被參考，以POC=3的幀為例，它需要參考第0幀（長(zhǎng)期參考幀）和第2幀（短期參考幀）進(jìn)行編碼，同時(shí)它會(huì)被第4幀所參考。已有的LDP編碼方式在編碼P幀時(shí)，一般會(huì)同時(shí)有長(zhǎng)期參考幀和短期參考幀。

然而，對(duì)于上述編碼方式，由于編解碼的參考幀之間存在依賴關(guān)系，在解碼過程中，在解碼一個(gè)圖像幀時(shí)，需要先解碼其前面所有的圖像幀，造成最大會(huì)有一個(gè)GOP幀數(shù)的解碼延遲。

為了克服上述問題，可以采用如圖2所示的超低延遲參考幀的配置方式，每一個(gè)P幀僅參考其對(duì)應(yīng)的I幀，不再參考其前一幀，即，每一幀只保留長(zhǎng)期參考幀而放棄短期參考幀。相比于已有的LDP模式，該方案解除了在編碼或解碼時(shí)各P幀的依賴關(guān)系，降低了編碼及解碼的延遲。

然而，上述超低延遲編碼的參考幀配置方案中，通常I幀編碼后的大小是P幀大小的數(shù)倍之多（通常約為2-10倍），在傳輸時(shí)過大的I幀可能會(huì)造成幾十毫秒乃至上百秒的傳輸延遲，這會(huì)嚴(yán)重影響RTC的時(shí)效性。同時(shí)，I幀與P幀的碼率差異較大，該碼率波動(dòng)需要設(shè)置較大的緩沖buffer，故而緩沖延遲也較高。

因此，相關(guān)技術(shù)中的編解碼方式，存在由于時(shí)延（比如，傳輸時(shí)延，緩沖時(shí)延）過大導(dǎo)致的實(shí)時(shí)音視頻通信時(shí)效性差的問題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N視頻編碼、解碼方法和裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中的編解碼方式存在由于時(shí)延過大導(dǎo)致的實(shí)時(shí)音視頻通信時(shí)效性的問題。

根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種視頻編碼方法，包括：獲取待編碼視頻的待編碼圖像組，其中，所述待編碼圖像組包括第一待編碼子圖像組和第二待編碼子圖像組；對(duì)所述第一待編碼子圖像組進(jìn)行幀內(nèi)刷新編碼，其中，所述第一待編碼子圖像組中的每個(gè)第一待編碼子圖像被劃分為多個(gè)編碼區(qū)域，所述第一待編碼子圖像組的所有所述編碼區(qū)域中包含臟區(qū)域和非臟區(qū)域，所述臟區(qū)域?yàn)閰⒖妓鶎俚膱D像組以外的其他圖像組中的區(qū)域進(jìn)行編碼的區(qū)域；對(duì)所述第二待編碼子圖像組進(jìn)行編碼，其中，所述第二待編碼子圖像組中的每個(gè)第二待編碼子圖像僅參考所述第一待編碼子圖像組中的所述非臟區(qū)域進(jìn)行編碼。

根據(jù)本申請(qǐng)實(shí)施例的另一個(gè)方面，提供了一種視頻解碼方法，包括：獲取待解碼視頻的待解碼圖像組，其中，所述待解碼圖像組包括第一待解碼子圖像組和第二待解碼子圖像組；對(duì)所述第一待解碼子圖像組進(jìn)行幀內(nèi)刷新解碼，其中，所述第一待解碼子圖像組中的每個(gè)第一待解碼子圖像被劃分為多個(gè)解碼區(qū)域，所述第一待解碼子圖像組的所有所述解碼區(qū)域中包含臟區(qū)域和非臟區(qū)域，所述臟區(qū)域?yàn)閰⒖妓鶎俚膱D像組以外的其他圖像組中的區(qū)域進(jìn)行解碼的區(qū)域；對(duì)所述第二待解碼子圖像組進(jìn)行解碼，其中，所述第二待解碼子圖像組中的每個(gè)第二待解碼子圖像僅參考所述第一待解碼子圖像組中的所述非臟區(qū)域進(jìn)行編碼。