[發(fā)明專利]用于補償相機運動的方法和設備

有效

• 申請?zhí)枺?/td>: 201680048032.6
• 申請日: 2016-11-16
• 公開（公告）號: CN107925722B
• 公開（公告）日: 2020-05-12
• 發(fā)明（設計）人: A.C.科卡拉姆;H.本加利;N.A.C.伯克貝克;I.因古瓦
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 謝佳

1.一種用于補償相機運動的方法，包括：

將球面視頻的幀識別為關鍵幀；

存儲基于與所述關鍵幀相關聯(lián)的相機的位置數(shù)據(jù)的補償分量；

基于所述關鍵幀和與所述關鍵幀相關聯(lián)的補償分量來補償在球面視頻的后續(xù)幀中的相機的運動；以及

響應于確定所述球面視頻被捕獲為部分球面數(shù)據(jù)，將在顯示區(qū)域之外的運動補償?shù)暮罄m(xù)幀的像素設置為默認值。

2.如權利要求1所述的方法，還包括：

用所述球面視頻的每個被捕獲的幀來捕獲所述相機的加速度計數(shù)據(jù)；

使用所述加速度計數(shù)據(jù)來生成與所述關鍵幀相關聯(lián)的中心位置、平移位置和旋轉位置中的至少一個；以及

存儲與所述關鍵幀相關聯(lián)的中心位置、平移位置和旋轉位置中的所述至少一個，其中，所述補償分量基于中心位置、平移位置和旋轉位置中的所述至少一個。

3.如權利要求1至2中的一個所述的方法，還包括：

將所述后續(xù)幀的一部分與所述關鍵幀的多個部分進行匹配；

基于所述補償分量的方向選擇所述關鍵幀的所述多個部分中的一個以用于補償所述相機的運動；以及

使用所述關鍵幀的所述多個部分中的所選擇的一個來補償在所述后續(xù)幀中的相機的運動。

4.如權利要求1至2中的一個所述的方法，其中：

所述關鍵幀是多個關鍵幀中的一個；并且

與所述關鍵幀相關聯(lián)的補償分量還基于所述多個關鍵幀中的先前關鍵幀。

5.如權利要求1至2中的一個所述的方法，其中補償所述相機運動是由相機、被配置為流傳輸所述球面視頻的服務器、和被配置為呈現(xiàn)所述球面視頻的設備中的一個來執(zhí)行的。

6.如權利要求1至2中的一個所述的方法，其中：

補償分量包括與所述關鍵幀相關聯(lián)的中心位置和平移位置；并且

補償相機運動包括基于關鍵幀中心位置和關鍵幀平移位置使后續(xù)幀居中。

7.如權利要求1至2中的一個所述的方法，其中：

球面視頻的后續(xù)幀被存儲為三維3D數(shù)據(jù)；

補償分量包括與所述關鍵幀相關聯(lián)的中心位置和平移位置；并且

補償相機運動包括基于關鍵幀中心位置和關鍵幀平移位置在3D中旋轉后續(xù)幀。

8.如權利要求1至2中的一個所述的方法，其中：

球面視頻的后續(xù)幀被存儲為二維2D數(shù)據(jù)，

補償分量包括與所述關鍵幀相關聯(lián)的中心位置和平移位置；并且

補償相機運動包括基于關鍵幀中心位置和關鍵幀平移位置在2D中移位后續(xù)幀，所述方法還包括：

校正邊界圖像損失。

9.如權利要求1至2中的一個所述的方法，其中：

球面視頻的后續(xù)幀被存儲為二維2D數(shù)據(jù)，

補償分量包括與所述關鍵幀相關聯(lián)的中心位置和平移位置，

補償相機運動包括基于關鍵幀中心位置和關鍵幀平移位置在2D中移位后續(xù)幀；

在確定球面視頻未被捕獲為部分球面數(shù)據(jù)時，校正邊界圖像損失。

10.一種用于補償相機運動的設備，包括：

處理器；

存儲器，被配置為存儲指令，所述指令在由所述處理器執(zhí)行時使所述處理器：

將球面視頻的幀識別為關鍵幀；

存儲基于與所述關鍵幀相關聯(lián)的位置數(shù)據(jù)的補償分量；

基于所述關鍵幀和與所述關鍵幀相關聯(lián)的補償分量來補償在球面視頻的后續(xù)幀中的相機運動；以及

響應于確定所述球面視頻被捕獲為部分球面數(shù)據(jù)，將在所述設備的顯示區(qū)域之外的運動補償?shù)暮罄m(xù)幀的像素設置為默認值。

11.如權利要求10所述的設備，其中所述設備是相機、被配置為流傳輸所述球面視頻的服務器和被配置為呈現(xiàn)所述球面視頻的設備中的一個。