[發明專利]基于虛擬視點合成繪制三維物體的方法和系統在審
| 申請號： | 201910164246.5 | 申請日： | 2019-03-05 |
| 公開（公告）號： | CN109769109A | 公開（公告）日： | 2019-05-17 |
| 發明（設計）人： | 陳東岳;宋園園;常興亞 | 申請（專利權）人： | 東北大學 |
| 主分類號： | H04N13/20 | 分類號： | H04N13/20;H04N13/204;H04N13/257;H04N13/271;H04N13/156;G06T17/00;G06T7/80 |
| 代理公司： | 大連東方專利代理有限責任公司 21212 | 代理人： | 李馨 |
| 地址： | 110819 遼寧*** | 國省代碼： | 遼寧;21 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 彩色圖像 參考視點 參考圖像 三維物體 繪制 虛擬視點合成 虛擬 相機 預處理 復雜性問題 方案解決 三維圖像 深度圖像 同一場景 虛擬視點 虛擬圖像 真實環境 參考 標定 映射 建模 配準 去除 三維 采集 融合 | ||
1.基于虛擬視點合成繪制三維物體的方法，其特征在于，包括如下步驟：
S1：對參考相機進行標定和配準；
S2：選擇同一場景下包括左、右兩個角度的參考視點，使用參考相機分別采集參考視點左、右兩個角度的參考圖像，包括一張彩色圖像和一張與彩色圖像相應的深度圖像；
S3：采用中值濾波器對深度圖像進行預處理去除深度圖像中的無效點；
S4：運用圖形三維變換技術將參考視點處的每一張參考圖像中彩色圖像分別映射到虛擬視點處，具體包括：
確定虛擬視點的位置后，利用公式1，根據二維空間中的參考圖像中深度圖像的每個像素點的坐標(u1,v1)，計算虛擬視點對應二維平面中像素點的坐標(u2,v2)以及三維點相對于虛擬相機的深度值Z2：
其中，虛擬相機為放置在虛擬視點位置處的相機；A1為參考相機內部參數矩陣；Z1是三維空間中點相對參考相機的深度值；A2為虛擬相機內部參數矩陣；R和T分別是虛擬相機相對于參考相機的旋轉和平移矩陣；
S5：根據映射到虛擬視點處的像素點的坐標(u2,v2)可以分別得到左、右兩個角度的參考圖像中彩色圖像對應的左虛擬彩色圖像和右虛擬彩色圖像，將左虛擬彩色圖像和右虛擬彩色圖像進行融合；
結合表示像素點位置坐標(u2,v2)和對應的像素值Z2，根據如下三種情況計算融合后的彩色圖像在像素點(u,v)處的像素值I(u,v)，最終得到虛擬彩色圖像：
(1)當左虛擬彩色圖像和右虛擬彩色圖像對應的相同位置的像素點(u2,v2)都不為空洞，虛擬彩色圖像在像素點(u,v)處的像素值I(u,v)等于在兩圖像在(u2,v2)處的加權像素值，加權值為：
其中，t，tL，tR分別是虛擬視點、左參考視點、右參考視點下相機外參數的平移向量；
(2)當左虛擬彩色圖像和右虛擬彩色圖像中僅有一幅圖像在坐標(u2,v2)處不為空洞，虛擬彩色圖像在像素點(u,v)處的像素值I(u,v)的值等于非空洞圖像對應的像素值；
(3)當左虛擬彩色圖像和右虛擬彩色圖像在(u2,v2)都為空洞，虛擬彩色圖像在像素點(u,v)處的像素值融合后圖像在I(u,v)處也為空洞；
其中，空洞表示像素點的像素值為零；
S6：使用ARToolkit將物體的參考圖像中的彩色圖像和S5生成的虛擬彩色圖像注冊到真實環境背景中完成繪制物體虛擬的三維圖像。
2.根據權利要求1所述的基于虛擬視點合成繪制三維物體的方法，其特征在于：步驟S1采用張正友標定法對參考相機進行標定，用于消除采集的參考圖像的畸變。
3.根據權利要求2所述的基于虛擬視點合成繪制三維物體的方法，其特征在于：參考相機采用Kinect V2深度相機。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于東北大學，未經東北大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910164246.5/1.html，轉載請聲明來源鉆瓜專利網。
