[發(fā)明專利]時空局部變形及接縫查找的容差視頻拼接方法、裝置及計算機可讀介質(zhì)

有效

• 申請?zhí)枺?/td>: 201580062015.3
• 申請日: 2015-11-11
• 公開（公告）號: CN107113381B
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計）人: 蔣偉;顧金偉
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: H04N5/262
• 分類號: H04N5/262
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種容差視頻拼接方法，其特征在于，所述方法包括：

確定多個待拼接的視頻序列；

對所述視頻序列執(zhí)行時空局部變形計算處理，以確定多個目標(biāo)變形映射；

采用所述目標(biāo)變形映射，將所述視頻序列中的多個幀變形為多個目標(biāo)虛擬幀；

對所述目標(biāo)虛擬幀進行基于內(nèi)容的時空接縫查找處理，以確定多個目標(biāo)接縫映射；其中，目標(biāo)接縫映射包括與從變形的目標(biāo)虛擬幀構(gòu)建最終的拼接虛擬幀有關(guān)的信息；

采用所述目標(biāo)接縫映射將所述視頻序列進行拼接；

其中，所述時空局部變形計算處理包括：

采用多個與所述視頻序列相關(guān)的視覺要點，確定多個空間全局單應(yīng)性以及多個時間全局單應(yīng)性；

進行預(yù)變形處理，即采用所述空間全局單應(yīng)性以及所述時間全局單應(yīng)性，以獲得多個預(yù)變形的時間匹配對以及多個預(yù)變形的空間匹配對；

采用所述預(yù)變形的時間匹配對以及所述預(yù)變形的空間匹配對，確定多個目標(biāo)頂點；

所述對所述目標(biāo)虛擬幀進行基于內(nèi)容的時空接縫查找處理，以確定多個目標(biāo)接縫映射包括：采用所述目標(biāo)虛擬幀進行時空似物性計算，以確定多個時空似物性值；確定包括多個像素、空間邊緣以及時間邊緣的圖形；將每個所述像素標(biāo)記為源端或宿端；采用所述標(biāo)記的像素確定所述目標(biāo)接縫映射。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：從所述視頻序列中確定所述多個視覺要點。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：采用所述目標(biāo)頂點確定所述多個目標(biāo)變形映射。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過將成本函數(shù)最小化，確定所述多個目標(biāo)頂點。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述成本函數(shù)E由下面的方程式給出：

其中，E_ds為空間局部對齊參數(shù)，E_dt為時間局部對齊參數(shù)，E_gs為空間全局對齊參數(shù)，E_gt為時間全局對齊參數(shù)，E_ss為空間平滑參數(shù)，E_st為時間平滑參數(shù)，φ、α、β、和θ為權(quán)重系數(shù)。

6.一種容差視頻拼接裝置，其特征在于，所述裝置包括：

至少一個存儲器；

耦合于所述至少一個存儲器的至少一個處理器，其中，所述至少一個處理器用于：

確定多個待拼接的視頻序列；

對所述視頻序列執(zhí)行時空局部變形計算處理，以確定多個目標(biāo)變形映射；

采用所述目標(biāo)變形映射，將所述視頻序列中的多個幀變形為多的目標(biāo)虛擬幀；

對所述目標(biāo)虛擬幀進行基于內(nèi)容的時空接縫查找處理，以確定多個目標(biāo)接縫映射；其中，目標(biāo)接縫映射包括與從變形的目標(biāo)虛擬幀構(gòu)建最終的拼接虛擬幀有關(guān)的信息；

采用所述目標(biāo)接縫映射將所述視頻序列進行拼接；

其中，

為了執(zhí)行所述時空局部變形計算處理，所述至少一個處理器用于：

采用多個與所述視頻序列相關(guān)的視覺要點，確定多個空間全局單應(yīng)性以及多個時間全局單應(yīng)性；

進行預(yù)變形處理，即采用所述空間全局單應(yīng)性和所述時間全局單應(yīng)性，以獲得多個預(yù)變形的時間匹配對以及多個預(yù)變形的空間匹配對；

采用所述預(yù)變形的時間匹配對以及所述預(yù)變形的空間匹配對，確定多個目標(biāo)頂點；

為了執(zhí)行所述所述對所述目標(biāo)虛擬幀進行基于內(nèi)容的時空接縫查找處理，以確定多個目標(biāo)接縫映射，所述至少一個處理器用于：

采用所述目標(biāo)虛擬幀進行時空似物性計算，以確定多個時空似物性值；

確定包括多個像素、空間邊緣以及時間邊緣的圖形；

將每個所述像素標(biāo)記為源端或宿端；

采用所述標(biāo)記的像素確定所述目標(biāo)接縫映射。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述至少一個處理器還用于：

從所述視頻序列中確定所述多個視覺要點。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述至少一個處理器還用于：

采用所述目標(biāo)頂點確定所述多個目標(biāo)變形映射。