[發明專利]一種AR投影方法、系統及AR投影儀

在審

• 申請號: 202211423540.1
• 申請日: 2022-11-15
• 公開（公告）號: CN115908755A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 盛珩
• 申請（專利權）人: 深圳市盛仁電子科技有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/73;G06T5/00;G06F3/01;G06V20/64;G06N3/0464;G06N3/0455;G06N3/08
• 代理公司: 深圳科灣知識產權代理事務所(普通合伙) 44585
• 代理人: 姬淑銀

1.一種AR投影方法，其特征在于，采用以下步驟：

步驟1：在AR投影助手內內置攝像頭拍攝相機，通過內置攝像頭拍攝相機掃描目標環境周圍場景，提取周圍場景的環境信息和物體信息；

步驟2：使用系統構建三維場景，根據獲取的環境信息對場景進行三維重構，并生成三維物體的數據模型；

步驟3：對拍攝的三維物體的形狀進行識別，根據識別的外形輪廓，建立模型數據，將模型數據經過運算處理與實體物件進行交互仿真，在實體物件上進行投影成像；

步驟4：在完成所有呈現效果的仿真計算后，將AR效果實時渲染出來，使用AR投影助手顯示設備進行顯示。

2.根據權利要求1所述的一種AR投影方法，其特征在于：所述AR助手內置攝像頭拍攝相機掃描目標環境周圍場景提取環境信息時，需要確定拍攝相機的位置坐標，拍攝相機坐標確定是根據環境信息的特征點計算Tm矩陣，再確定拍攝相機的位置坐標。

3.根據權利要求2所述的一種AR投影方法，其特征在于：Tm矩陣的計算公式如下：

其中，C為攝像機內參矩陣，矩陣Tm為攝像機外參矩陣。

4.根據權利要求3所述的一種AR投影方法，其特征在于：內參矩陣的公式如下：

其中，f為圖像平面和照相機中心間的距離，s為傾斜參數，a是縱橫比例參數，c＝[c_x,c_y],是光標坐標軸和圖像平面的交點。

5.根據權利要求4所述的一種AR投影方法，其特征在于：所述s在一般情況下為0，即：

兩個K矩陣中的f_x和f_y存在著f_x＝af_y的關系，a在像素元素非正方形的情況下使用時默認為1。

6.根據權利要求1所述的一種AR投影方法，其特征在于：所述拍攝相機在拍攝的時候還需要使用CompenNet卷積神經網絡補償函數通過抑制和抵消投影表面上面紋理和圖案帶來的干擾。

7.根據權利要求6所述的一種AR投影方法，其特征在于：CompenNet卷積神經網絡計算流程如下，先輸入投影圖像為x，得到相機拍攝圖像為計算公式如下：

其中，π_p為復合幾何投影，π_c為輻射傳遞函數，s為表面光譜反射特性，π_s為光譜反射函數，g為全局照明輻照度；

確定投影輸入圖像x*，計算公式如下：

π_c(π_s(π_p(x^*),g,s))＝x

8.根據權利要求7所述的一種AR投影方法，其特征在于：所述CompenNet卷積神經網絡還會使用訓練數據進行學習，訓練對的生成公式如下：

其中，在環境設置確定時，為固定參數，是的補償，θ包含可學習的網絡參數。

9.一種AR投影系統，其特征在于，包括：

攝像模塊，用于掃描拍攝目標環境周圍場景，提取周圍場景的環境信息和物體信息；

坐標確定模塊，用于根據攝像模塊模塊拍攝的信息建立坐標，并確定攝像模塊的位置坐標；

場景構建模塊，用于根據攝像模塊拍攝獲取的環境信息構建三維場景；

物體構建模塊，用于根據攝像模塊拍攝獲取的物體信息構建三維物體；

交互仿真模塊，用于使用虛擬物件對場景構建模塊構建的三維場景和物體構建模塊構建的三維物體進行交互仿真；

效果渲染模塊，用于對交互仿真模塊交互仿真的結果進行實時渲染；

顯示模塊，用于顯示效果渲染模塊渲染出的效果圖像和視頻。

10.一種AR投影儀，其特征在于，所述裝置包括服務處理器和分布存儲器，所述服務處理器連接所述存儲器，所述分布存儲器中存儲有服務自管理程序，配置用于存儲機器可讀指令，所述服務處理器執行所述服務自管理程序，指令在由所述處理器執行時，以實現如權利要求1-8所述的AR投影方法。