[發(fā)明專利]視頻的插幀方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010412447.5
• 申請日: 2020-05-15
• 公開（公告）號(hào): CN111654746B
• 公開（公告）日: 2022-01-21
• 發(fā)明（設(shè)計(jì)）人: 李超;丁予康;何棟梁;李甫;孫昊;文石磊;章宏武;丁二銳
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): H04N21/44
• 分類號(hào): H04N21/44;H04N21/4402
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 石茵汀

本申請公開了視頻的插幀方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及計(jì)算機(jī)視覺和深度學(xué)習(xí)等人工智能技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：獲取視頻；獲取視頻之中的第i?1幀圖像和第i幀圖像，其中，i為正整數(shù)；分別獲取第i?1幀圖像和第i幀圖像的視覺語義特征圖和深度信息圖；根據(jù)第i?1幀圖像和第i幀圖像的視覺語義特征圖和深度信息圖生成插幀信息；以及根據(jù)插幀信息和第i?1幀圖像生成第i?1幀圖像和第i幀圖像之間的插幀，并插入第i?1幀圖像和第i幀圖像之間。該方法根據(jù)視頻之中幀圖像的視覺語義特征圖和深度信息圖對(duì)視頻進(jìn)行插幀，計(jì)算效率較高，且可以處理遮擋及畫面變化較大的情況，從而有效的提高了插幀效果。

技術(shù)領(lǐng)域

本申請涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及計(jì)算機(jī)視覺和深度學(xué)習(xí)等人工智能技術(shù)領(lǐng)域，尤其涉及一種視頻的插幀方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著移動(dòng)互聯(lián)網(wǎng)的興起，用戶存儲(chǔ)和轉(zhuǎn)發(fā)信息的方式逐漸從文字、圖片過渡到視頻。如今視頻已經(jīng)成為用戶生成內(nèi)容的主要載體。然而，受到拍攝設(shè)備的制約，絕大部分用戶只能拍攝幀率為(24-30fps)的視頻，與高幀率(60，120fps)視頻觀感體驗(yàn)差距很大。

目前視頻插幀技術(shù)可以在視頻幀之間插入中間幀，增加視頻幀率，使視頻觀看起來更加順暢，減少跳躍，抖動(dòng)等現(xiàn)象，極大提升用戶體驗(yàn)。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N視頻的插幀方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

根據(jù)本申請的一方面，提供了一種視頻的插幀方法，包括：

獲取視頻；

獲取所述視頻之中的第i-1幀圖像和第i幀圖像，其中，i為正整數(shù)；

分別獲取所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖和深度信息圖；

根據(jù)所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖和深度信息圖生成插幀信息；以及

根據(jù)所述插幀信息和所述第i-1幀圖像生成所述第i-1幀圖像和所述第i幀圖像之間的插幀，并插入所述第i-1幀圖像和所述第i幀圖像之間。

根據(jù)本申請的另一方面，提供了一種視頻的插幀裝置，包括：

第一獲取模塊，用于獲取視頻；

第二獲取模塊，用于獲取所述視頻之中的第i-1幀圖像和第i幀圖像，其中，i為正整數(shù)；

第三獲取模塊，用于分別獲取所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖和深度信息圖；

第一生成模塊，用于根據(jù)所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖和深度信息圖生成插幀信息；以及

插幀模塊，用于根據(jù)所述插幀信息和所述第i-1幀圖像生成所述第i-1幀圖像和所述第i幀圖像之間的插幀，并插入所述第i-1幀圖像和所述第i幀圖像之間。

根據(jù)本申請另一方面，提供了一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述一方面實(shí)施例所述的視頻的插幀方法。

根據(jù)本申請另一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行上述一方面實(shí)施例所述的視頻的插幀方法。

根據(jù)本申請的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述一方面實(shí)施例所述的視頻的插幀方法。