[發(fā)明專利]時(shí)空局部變形及接縫查找的容差視頻拼接方法、裝置及計(jì)算機(jī)可讀介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201580062015.3
• 申請(qǐng)日: 2015-11-11
• 公開（公告）號(hào): CN107113381B
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 蔣偉;顧金偉
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): H04N5/262
• 分類號(hào): H04N5/262
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

裝置用于執(zhí)行容差視頻拼接方法。所述方法包括：確定多個(gè)待拼接的視頻序列；對(duì)所述視頻序列執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射；采用所述目標(biāo)變形映射，將所述視頻序列中的多個(gè)幀變形為多個(gè)目標(biāo)虛擬幀；對(duì)所述目標(biāo)虛擬幀進(jìn)行基于內(nèi)容的時(shí)空查找接縫處理，以確定多個(gè)目標(biāo)接縫映射；采用所述目標(biāo)接縫映射將所述視頻序列進(jìn)行拼接。

技術(shù)領(lǐng)域

本發(fā)明通常涉及視頻處理，尤其涉及時(shí)空局部變形及接縫查找的容差視頻拼接的系統(tǒng)及方法。

背景技術(shù)

由于計(jì)算能力的日益增強(qiáng)，存儲(chǔ)容量的不斷擴(kuò)大，以及傳輸帶寬的不斷擴(kuò)展，市場(chǎng)上出現(xiàn)了多種多樣的應(yīng)用，這為現(xiàn)代用戶提供了各種視覺體驗(yàn)。例如，隨著諸如超大屏幕以及超清電視等高分辨率顯示設(shè)備的出現(xiàn)，人們?cè)絹碓狡谕删哂谐笠晥?chǎng)(Field-of-View，簡稱FoV)的高質(zhì)量視頻，這可以給用戶提供浸入式的媒體體驗(yàn)。已經(jīng)提出了多種構(gòu)建大FoV圖像的設(shè)備及方法。為了實(shí)現(xiàn)這一目的，專業(yè)代理機(jī)構(gòu)采用極其昂貴的高端攝像頭系統(tǒng)，例如，國防工業(yè)采用的AWARE-2攝像頭，這是一種單核心多尺度的攝像頭，包括一組輔助微型攝像頭所環(huán)繞的球形對(duì)稱物鏡。而對(duì)于具有更小預(yù)算的群體(例如，獨(dú)立攝影師或者業(yè)余消費(fèi)者)，則渴望一種能夠獲得良好質(zhì)量但是成本低得多的攝像頭系統(tǒng)。

發(fā)明內(nèi)容

根據(jù)一實(shí)施例，提供了一種容差視頻拼接方法。所述方法包括：確定多個(gè)待拼接的視頻序列；對(duì)所述視頻序列執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射；采用所述目標(biāo)變形映射，將所述視頻序列中的多個(gè)幀變形為多個(gè)目標(biāo)虛擬幀；對(duì)所述目標(biāo)虛擬幀進(jìn)行基于內(nèi)容的時(shí)空接縫查找處理，以確定多個(gè)目標(biāo)接縫映射；采用所述目標(biāo)接縫映射將所述視頻序列進(jìn)行拼接。

根據(jù)另一實(shí)施例，提供了一種容差視頻拼接裝置。所述裝置包括：至少一個(gè)存儲(chǔ)器以及耦合于所述至少一個(gè)存儲(chǔ)器的至少一個(gè)處理器。所述至少一個(gè)處理器用于：確定多個(gè)待拼接的視頻序列；對(duì)所述視頻序列執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射；采用所述目標(biāo)變形映射，將所述視頻序列中的多個(gè)幀變形為多的目標(biāo)虛擬幀；對(duì)所述目標(biāo)虛擬幀進(jìn)行基于內(nèi)容的時(shí)空接縫查找處理，以確定多個(gè)目標(biāo)接縫映射；采用所述目標(biāo)接縫映射將所述視頻序列進(jìn)行拼接。

根據(jù)又一實(shí)施例，提供了一種包含計(jì)算機(jī)程序的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)。所述計(jì)算機(jī)程序包括計(jì)算機(jī)可讀程序代碼，用于：確定多個(gè)待拼接的視頻序列；對(duì)所述視頻序列執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射；采用所述目標(biāo)變形映射，將所述視頻序列中的多個(gè)幀變形為多個(gè)目標(biāo)虛擬幀；對(duì)所述目標(biāo)虛擬幀進(jìn)行基于內(nèi)容的時(shí)空接縫查找處理，以確定多個(gè)目標(biāo)接縫映射；采用所述目標(biāo)接縫映射將所述視頻序列進(jìn)行拼接。

在一個(gè)示例性實(shí)施例中，采用容差視頻拼接裝置將所述視頻序列進(jìn)行拼接。所述容差視頻拼接裝置包括：確定多個(gè)待拼接的視頻序列的確定元件；對(duì)所述視頻序列執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射的執(zhí)行元件；采用所述目標(biāo)變形映射，將所述視頻序列中的多個(gè)幀變形為多個(gè)目標(biāo)虛擬幀的變形元件；對(duì)所述目標(biāo)虛擬幀進(jìn)行基于內(nèi)容的時(shí)空接縫查找處理，以確定多個(gè)目標(biāo)接縫映射的執(zhí)行元件；采用所述目標(biāo)接縫映射將所述視頻序列進(jìn)行拼接的拼接元件。

附圖說明

為了更完整地理解本發(fā)明及其優(yōu)點(diǎn)，現(xiàn)在參考下文結(jié)合附圖進(jìn)行的描述，相同的數(shù)字表示相同的對(duì)象，其中：

圖1A示出了采用單一全局單應(yīng)性引起的視差問題的示例。

圖1B示出了采用單應(yīng)性網(wǎng)格校正的視差問題。

圖2A和圖2B示出了在視頻中直接運(yùn)用二維(Two Dimensional，簡稱2D) 拼接技術(shù)而引起的視差問題的示例。

圖3示出了本發(fā)明提供的視頻拼接的總體工作流程。

圖4示出了本發(fā)明提供的實(shí)現(xiàn)圖3所述時(shí)空局部變形計(jì)算塊功能的時(shí)空局部變形框架的詳圖。