[發明專利]利用二維輸入選擇對三維深度圖像進行深度雕塑

有效

• 申請號: 201980063901.6
• 申請日: 2019-09-05
• 公開（公告）號: CN112771438B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 薩基·卡茨
• 申請（專利權）人: 美國斯耐普公司
• 主分類號: G02B27/01
• 分類號: G02B27/01
• 代理公司: 北京市中聯創和知識產權代理有限公司 11364
• 代理人: 李萌;李倩倩

1.一種深度雕塑系統，包括：

眼戴設備包括：

包括鼻梁架的框架；

連接到所述框架側面的眼戴設備腿；以及

深度捕捉攝像頭，其中所述深度捕捉攝像頭包括：(i)具有重合視場的至少兩個可見光攝像頭；或(ii)至少一個可見光攝像頭和深度傳感器；

圖像顯示器，用于呈現初始圖像，其中所述初始圖像是原始圖像或二維的經處理的原始圖像；

圖像顯示驅動器，其耦合到所述圖像顯示器以控制所述圖像顯示器呈現所述初始圖像；

用戶輸入設備，用于接收用戶的二維輸入選擇；

存儲器；

處理器，耦合到所述深度捕捉攝像頭、所述圖像顯示驅動器、所述用戶輸入設備和所述存儲器

所述存儲器中的編程，其中由所述處理器執行所述編程將所述深度雕塑系統配置為執行包括以下功能的功能：

經由所述深度捕捉攝像頭生成與所述初始圖像相對應的初始深度圖像，其中：

所述初始深度圖像由頂點矩陣形成，每個頂點表示三維場景中的像素；

每個頂點都有位置屬性；以及

每個頂點的所述位置屬性基于三維位置坐標系，并且包括針對水平位置的X軸上的X位置坐標、針對垂直位置的Y軸上的Y位置坐標以及針對深度的Z軸上的Z位置坐標；

經由所述圖像顯示器呈現所述初始圖像；

經由所述用戶輸入設備接收所述用戶的對所呈現初始圖像的二維輸入選擇；

經由所述用戶輸入設備跟蹤所述二維輸入選擇從所述所呈現初始圖像的初始觸摸點到最終觸摸點的運動；

計算初始射線，所述初始射線是從所述三維位置坐標系的原點頂點到與所述所呈現初始圖像的所述初始觸摸點對應的初始頂點的投影，其中所述原點頂點對應于所述深度捕捉攝像頭；

計算最終射線，所述最終射線是從所述原點頂點到與所述所呈現初始圖像的所述最終觸摸點對應的最終頂點的投影；

確定所述初始射線和所述最終射線之間的旋轉矩陣，所述旋轉矩陣描述從所述初始射線到所述最終射線的旋轉以導出深度雕塑區域；

通過將所述旋轉矩陣應用于所述深度雕塑區域中所述初始深度圖像頂點的位置屬性來生成深度雕塑圖像；以及

經由所述圖像顯示器來呈現所述深度雕塑圖像。

2.如權利要求1所述的深度雕塑系統，其中每個頂點還包括顏色屬性、紋理屬性或反射屬性中的一個或多個。

3.如權利要求1所述的深度雕塑系統，其中：

所述處理器執行所述編程還將所述深度雕塑系統配置為計算所述初始頂點和所述最終頂點周圍所述初始深度圖像所述頂點的關聯矩陣，所述關聯矩陣確定所述旋轉矩陣對每個頂點的影響權重；以及

通過將所述旋轉矩陣應用于所述深度雕塑區域中所述初始深度圖像所述頂點的所述位置屬性來生成所述深度雕塑圖像的功能是基于所計算出的所述關聯矩陣。

4.如權利要求1所述的深度雕塑系統，其中：

所述深度捕捉攝像頭包括至少兩個所述可見光攝像頭，其包括具有左側視場的左側可見光攝像頭和具有右側視場的右側可見光攝像頭；

所述左側視場和所述右側視場是重合的；以及

通過所述深度捕捉攝像頭生成所述初始深度圖像的功能包括：

經由所述左側可見光攝像頭捕捉包括左側像素矩陣的左側原始圖像；

經由所述右側可見光攝像頭捕捉包括右側像素矩陣的右側原始圖像；

從所述左側原始圖像創建左側校正圖像，從所述右側原始圖像創建右側校正圖像，所述左側校正圖像和所述右側校正圖像對準所述左側原始圖像和所述右側原始圖像，并且從每個所述左側可見光攝像頭和所述右側可見光攝像頭的相應鏡頭去除失真；

通過將所述左側校正圖像與所述右側校正圖像的像素相關聯來提取圖像視差，以計算每個相關像素的視差；以及

基于至少每個所述相關像素的所提取的所述圖像視差，計算所述初始深度圖像頂點的所述Z位置坐標。