[發(fā)明專利]基于立體提取的三維場景修復(fù)在審
| 申請?zhí)枺?/td> | 201980062166.7 | 申請日： | 2019-09-04 |
| 公開（公告）號： | CN112805753A | 公開（公告）日： | 2021-05-14 |
| 發(fā)明（設(shè)計）人： | N·達(dá)伯;Z·卡尼 | 申請（專利權(quán)）人： | 美國斯耐普公司 |
| 主分類號： | G06T15/10 | 分類號： | G06T15/10;G06T7/11;G06T7/136;G06T5/50 |
| 代理公司： | 北京市中聯(lián)創(chuàng)和知識產(chǎn)權(quán)代理有限公司 11364 | 代理人： | 李萌;李倩倩 |
| 地址： | 美國加利福尼亞州圣莫尼*** | 國省代碼： | 暫無信息 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 基于 立體 提取 三維 場景 修復(fù) | ||
1.一種用于創(chuàng)建三維(3D)場景的系統(tǒng)，該系統(tǒng)包括：
眼鏡，其包括第一成像器和與第一成像器間隔設(shè)置的第二成像器，第一成像器被配置為從第一視點獲得場景對象的第一二維(2D)圖像，并且第二成像器被配置為從不同于第一視點的第二視點獲得所述場景對象的第二二維圖像；
與眼鏡耦合的處理系統(tǒng)，該處理系統(tǒng)被配置為；
獲得所述第一二維圖像和所述第二二維圖像；
根據(jù)所述第一和第二二維圖像創(chuàng)建深度圖；
根據(jù)所述深度圖以及所述第一和第二二維圖像創(chuàng)建三維場景；
檢測初始三維場景中具有不完整圖像信息的區(qū)域；
重建三維場景中所述檢測到的區(qū)域；
確定替換信息并修正重建區(qū)域；以及
從多個視點渲染具有修改后的重建區(qū)域的三維場景。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理系統(tǒng)進一步被配置為：
從一個或多個視點識別渲染的三維場景中的洞；和
優(yōu)化所述渲染的三維場景以填充所述洞。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述眼鏡包括第一鏡腿和第二鏡腿，并且其中，所述第一成像器與所述第一鏡腿相鄰，并且所述第二成像器與所述第二鏡腿相鄰。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，為了確定具有不完整圖像信息的所述檢測到的區(qū)域的替換信息，所述處理系統(tǒng)被配置為：
識別每個檢測到的區(qū)域的周圍的邊界；
識別所述邊界內(nèi)的背景信息；
識別所述邊界內(nèi)的前景信息；以及
融合各個區(qū)域背景和前景邊界信息，使所述背景邊界信息的權(quán)重比所述前景邊界信息的權(quán)重高。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，為了混合所述背景和前景邊界信息，所述處理系統(tǒng)被配置為：
將所述背景邊界信息的缺失信息通過各個區(qū)域擴散到所述前景邊界信息中。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述深度圖包括像素頂點和來自所述第一和第二二維圖像的對應(yīng)圖像信息，為創(chuàng)建所述3D場景，所述處理系統(tǒng)被配置為連接所述頂點以形成第一面，為重建所述檢測到的區(qū)域，處理系統(tǒng)被配置為連接所述邊界區(qū)域的頂點以形成第二面，所述第二面不同于所述第一面。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述第一和第二面包括三角形面或四邊形面中的至少一個。
8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述深度圖包括像素頂點和與每個頂點相對應(yīng)的置信度值，為了創(chuàng)建所述3D場景，所述處理系統(tǒng)被配置為連接所述頂點以形成面，并且為了檢測具有不完整信息的3D場景的邊界，所述處理系統(tǒng)被配置為識別包括退化面或低置信度面中的至少一個的連續(xù)面。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，每個所述退化面具有至少一個小于閾值的角度。
10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，每個低置信度面包括在所述第一二維圖像和所述第二二維圖像之間以不相容值生成的至少一個頂點。
11.一種用于創(chuàng)建三維(3D)場景的方法，該方法包括：
從第一視點獲得場景對象的第一二維(2D)圖像；
從不同于第一視點的第二視點獲得所述場景對象的第二二維圖像；
根據(jù)所述第一和第二二維圖像創(chuàng)建深度圖；
根據(jù)所述深度圖以及所述第一和第二二維圖像創(chuàng)建三維場景；
檢測初始三維場景中具有不完整圖像信息的區(qū)域；
重建三維場景中所述檢測到的區(qū)域；
確定替換信息并修正重建區(qū)域；以及
從多個視點渲染具有修改后的重建區(qū)域的三維場景。
12.根據(jù)權(quán)利要求11所述的方法，還包括：
從一個或多個視點識別渲染的三維場景中的洞；和
優(yōu)化所述渲染的三維場景以填充所述洞。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于美國斯耐普公司，未經(jīng)美國斯耐普公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201980062166.7/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 上一篇：永磁同步電動機的啟動方法和飛機壓氣機
- 下一篇：模制系統(tǒng)和方法
- 一種三維彩色物品制作方法
- 三維內(nèi)容顯示的方法、裝置和系統(tǒng)
- 三維對象搜索方法、裝置及系統(tǒng)
- 三維會話數(shù)據(jù)展示方法、裝置、存儲介質(zhì)和計算機設(shè)備
- 一種三維模型處理方法、裝置、計算機設(shè)備和存儲介質(zhì)
- 用于基于分布式賬本技術(shù)的三維打印的去中心化供應(yīng)鏈
- 標(biāo)記數(shù)據(jù)的獲取方法及裝置、訓(xùn)練方法及裝置、醫(yī)療設(shè)備
- 一種基于5G網(wǎng)絡(luò)的光場三維浸入式體驗信息傳輸方法及系統(tǒng)
- 用于機器人生產(chǎn)系統(tǒng)仿真的三維場景管理與文件存儲方法
- 基于三維形狀知識圖譜的三維模型檢索方法及裝置
