[發(fā)明專利]多視點(diǎn)視頻穩(wěn)定化

有效

• 申請?zhí)枺?/td>: 201680073973.5
• 申請日: 2016-11-08
• 公開（公告）號: CN108370437B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計）人: M.埃爾喬巴西;張帆;J.J.拉特克利夫;O.內(nèi)斯塔爾斯
• 申請（專利權(quán)）人: 英特爾公司
• 主分類號: H04N13/106
• 分類號: H04N13/106
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 王健;閆小龍

1.一種用于提供多視點(diǎn)視頻穩(wěn)定化的方法，包括：

對參考視頻流執(zhí)行單視點(diǎn)視頻穩(wěn)定化以生成穩(wěn)定化參考視頻流；以及

通過以下步驟將單視點(diǎn)視頻穩(wěn)定化傳播到第二視頻流：

通過將對應(yīng)于單視點(diǎn)視頻穩(wěn)定化的穩(wěn)定化變換應(yīng)用于參考視頻的幀和第二視頻流的同步幀的初始視差圖生成目標(biāo)視差圖，并且在生成目標(biāo)視差圖期間至少最小化目標(biāo)視差圖的垂直分量或水平分量；以及

至少部分基于目標(biāo)視差圖，對第二視頻流執(zhí)行視頻穩(wěn)定化以生成穩(wěn)定化的第二視頻流；

其中對第二視頻流執(zhí)行視頻穩(wěn)定化包括：

基于穩(wěn)定化參考視頻流的對應(yīng)幀的對應(yīng)特征點(diǎn)以及目標(biāo)視差圖，確定用于第二視頻流的穩(wěn)定化幀的特征點(diǎn)的位置；以及

基于用于第二視頻流的穩(wěn)定化幀的特征點(diǎn)的位置，將第二視頻流的同步幀變形。

2.根據(jù)權(quán)利要求1所述的方法，其中最小化垂直或水平分量包括將用于目標(biāo)視差圖的每個位置的垂直或水平分量設(shè)置成零。

3.根據(jù)權(quán)利要求2所述的方法，其中當(dāng)參考視頻流和第二視頻流水平對齊時，垂直分量被設(shè)置成零，并且當(dāng)參考視頻流和第二視頻流垂直對齊時，水平分量被設(shè)置成零。

4.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

將多視點(diǎn)視頻的多個同步流分割成多視點(diǎn)視頻的同步流的多個子集，其中參考視頻流在第一子集中并且第二視頻流在第二子集中；以及

將單視點(diǎn)視頻穩(wěn)定化傳播到同步流的多個子集的第三子集中的第三視頻流。

5.根據(jù)權(quán)利要求4所述的方法，其中至少部分地并行執(zhí)行將單視點(diǎn)視頻穩(wěn)定化傳播到第二視頻流和第三視頻流。

6.根據(jù)權(quán)利要求4所述的方法，進(jìn)一步包括：

將視頻穩(wěn)定化從第二視頻流傳播到第二子集中的一個或多個其它視頻流；以及

至少部分地并行于將視頻穩(wěn)定化從第二視頻流傳播到第二子集中的一個或多個其它視頻流，將視頻穩(wěn)定化從第三視頻流傳播到第三子集中的一個或多個其它視頻流。

7.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

通過以下步驟將單視點(diǎn)視頻穩(wěn)定化傳播到第三視頻流：

通過將對應(yīng)于單視點(diǎn)視頻穩(wěn)定化的穩(wěn)定化變換應(yīng)用于參考視頻的幀和第三視頻流的同步的第二幀的第二初始視差圖來生成第二目標(biāo)視差圖并且在生成第二目標(biāo)視差圖期間最小化第二目標(biāo)視差圖的垂直分量，其中在目標(biāo)視差圖中最小化水平分量；以及

至少部分基于第二目標(biāo)視差圖，對第三視頻流執(zhí)行視頻穩(wěn)定化以生成穩(wěn)定化的第三視頻流。

8.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

通過以下步驟將單視點(diǎn)視頻穩(wěn)定化傳播到第三視頻流：

通過將對應(yīng)于單視點(diǎn)視頻穩(wěn)定化的穩(wěn)定化變換應(yīng)用于參考視頻的幀和第四視頻流的同步幀的第二初始視差圖來生成第二目標(biāo)視差圖并且基于穩(wěn)定化變換的第二初始視差圖來設(shè)置第二目標(biāo)視差圖的垂直分量并基于穩(wěn)定化變換的第二初始視差圖來設(shè)置第二目標(biāo)視差圖的水平分量，其中第二視頻流與參考視頻流水平對齊，第四視頻流與參考視頻流垂直對齊，并且第三視頻流與參考視頻流對角對齊；以及

至少部分基于第二目標(biāo)視差圖，對第三視頻流執(zhí)行視頻穩(wěn)定化以生成穩(wěn)定化的第三視頻流。

9.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

確定與多視點(diǎn)視頻的觀眾相關(guān)聯(lián)的一個或多個觀看的視頻流；以及

至少部分基于與觀眾相關(guān)聯(lián)的一個或多個觀看的視頻流，設(shè)置參考視頻流。

10.根據(jù)權(quán)利要求9所述的方法，其中確定與觀眾相關(guān)聯(lián)的一個或多個觀看的視頻流包括頭部跟蹤、眼睛跟蹤或凝視跟蹤中的至少一個，并且參考視頻流是一個或多個觀看的視頻流中的一個。