[發明專利]用于圖像捕獲和處理的方法、系統和介質

有效

• 申請號: 201780044547.3
• 申請日: 2017-07-07
• 公開（公告）號: CN109479114B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: R·J·莫塔;G·L·馮德蘭;M·B·斯里坎斯;B·D·米勒
• 申請（專利權）人: 蘋果公司
• 主分類號: H04N7/14
• 分類號: H04N7/14;H04N7/18
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 吳信剛

1.一種圖像捕獲和處理方法，包括：

由第一相機和第二相機捕獲與第一方相關聯的場景的圖像；

獲取代表第二方的視點的信息；

基于所述第一相機和第二相機的布置來識別一組圖塊；

基于所述第二方的所述視點剔除由所述第一相機和第二相機捕獲的圖像中的像素并且識別剩余的像素的子集；

基于所識別的像素的子集來構成所述一組圖塊；并且

將所構成的所述一組圖塊傳輸到與所述第二方相關聯的設備。

2.根據權利要求1所述的圖像捕獲和處理方法，其中所述第二方的所述視點是基于監測從一個組中選擇的至少一者來獲取的，所述組包括：

所述第二方的眼睛位置；和

所述第二方的頭部位置。

3.根據權利要求1所述的圖像捕獲和處理方法，其中識別像素的所述子集包括：

針對所述一組圖塊中的每個圖塊，識別多個邊界相機；以及

當所述第二方的所述視點對應于與圖塊的邊界相機中的一個或多個的空間關系時，從所述圖塊消除像素。

4.根據權利要求1所述的圖像捕獲和處理方法，其中識別像素的所述子集包括：

針對所述一組圖塊中的每個圖塊，識別多個邊界相機；

獲取所述場景中相對于第一相機或第二相機的最近物體的信息；

針對至少一個圖塊，基于所述第二方的所述視點和所述場景中最近物體的所述信息識別所述至少一個圖塊的邊界相機的收縮視場；以及

消除與所述收縮視場之外的區域對應的像素。

5.根據權利要求3所述的圖像捕獲和處理方法，還包括：

將所識別的像素的子集中的至少一些從與所述多個相機中的至少一個相機相關聯的三維(3D)空間變換到3D世界空間；以及

針對所述第二方的左眼和右眼，將所識別的像素的子集中的至少一些從所述3D世界空間變換到二維(2D)顯示空間。

6.根據權利要求5所述的圖像捕獲和處理方法，其中基于所識別的像素的子集來構成所述一組圖塊包括：

從每個圖塊中選擇已經基于所述第二方的所述視點變換到所述2D顯示空間的像素；

使用所選擇的像素合成用于每個圖塊的像素；以及

使用所合成的像素構成每個圖塊。

7.根據權利要求1所述的圖像捕獲和處理方法，還包括：

從第三相機和第四相機接收構成的第二組圖塊，其中第三相機和第四相機與所述第二方相關聯；

基于所述第一方的視點變化的新近估計來使所構成的第二組圖塊的像素翹曲；以及

使用所構成的第二組圖塊組裝幀。

8.一種用于圖像捕獲和處理的系統，包括：

第一相機；

第二相機；

網絡連接器；

存儲器，所述存儲器耦接到所述第一相機、所述第二相機和所述網絡連接器；和

一個或多個處理器，所述一個或多個處理器耦接到所述第一相機、所述第二相機、所述網絡連接器和所述存儲器，所述一個或多個處理器被配置為執行所述存儲器中存儲的程序代碼，所述程序代碼被配置為使得所述一個或多個處理器：

使用所述第一相機和第二相機捕獲與第一方相關聯的場景的圖像；

通過所述網絡連接器獲取代表第二方的視點的信息；

基于所述第一相機和第二相機的布置來識別一組圖塊；

基于所述第二方的所述視點剔除由所述第一相機和第二相機捕獲的圖像中的像素并且識別剩余的像素的子集；

基于所識別的像素的子集來構成所述一組圖塊；并且

將所構成的所述一組圖塊通過所述網絡連接器傳輸到與所述第二方相關聯的設備。

9.根據權利要求8所述的系統，其中所述第一相機和第二相機中的每個被配置為：

集成到顯示器中；

捕獲所述場景的圖像；以及

獲取信息以計算所述場景的深度數據。