[發明專利]帶有現實環境估算的增強現實的方法及其系統

有效

• 申請號: 200910048112.3
• 申請日: 2009-03-24
• 公開（公告）號: CN101520904A
• 公開（公告）日: 2009-09-02
• 發明（設計）人: 季斐翀;陸濤;周暖云;潘晉
• 申請（專利權）人: 上海水晶石信息技術有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/60;G06K9/62
• 代理公司: 上海金盛協力知識產權代理有限公司
• 代理人: 段迎春

1.一種帶有現實環境估算的增強現實的方法，其特征在于包括以下步驟：

步驟10)、初始化系統環境、配置系統參數；

步驟20)、選擇或提取一幅標志物正視圖，對標志物進行訓練，獲得訓練數據；

步驟30)、計算標志物圖像的相機內部參數并對相機內部參數數據進行校正；

步驟40)、對攝像頭拍攝到的真實環境中的每一幀，利用步驟30)中的相機內部參數數據進行校正，再基于步驟20)中的訓練數據識別標志物，若含有標志物，則計算該標志物在攝像頭坐標系中的相對位置矩陣；

步驟50)、通過識別出的標志物尋找對應虛擬模型，利用提取出的標志物在攝像頭坐標系中的相對位置矩陣確定模型的位置；

步驟60)、在真實拍攝的視頻幀上根據計算出的相對位置繪制虛擬模型；

步驟70)、通過對已識別標志物和標志物正視圖的亮度進行比對來估算標志物所處環境的光照信息，進行現實環境光源估算，估算出現實光源的位置，生成陰影。

2.根據權利要求1所述的帶有現實環境估算的增強現實的方法，其特征在于，所述步驟70)具體包括以下步驟：

步驟71)、將標志物平面轉向各個方向，獲取識別出標志物的幀；

步驟72)、保存該幀中當前標志物的亮度及法向量坐標值；

步驟73)、判斷識別到標志物并保存亮度信息的幀的總數是否達到一定數目，若達到，則進入步驟74)，若未達到，轉步驟71)；

步驟74)、找到滿足一定數目的幀，這些幀的標志物法向量指向同一個方向，并且其亮度值均值為最大，將這些幀的法向量坐標的均值作為光源方向的估算位置；

步驟75)、根據光源估算的位置，生成陰影。

3.根據權利要求1或2所述的帶有現實環境估算的增強現實的方法，其特征在于，所述步驟20)具體包括以下步驟：

步驟21)、將彩色圖轉化為灰度圖；

步驟22)、初步提取特征點，具體提取特征點的方法如下：

對于圖片上的每個像素m，若以m為中點、圍繞著m的八個像素中的任意兩個滿足以下兩個條件，則排除這個像素m：

a、這兩個像素處于以m為中點的這圈像素的某條直徑兩端，

b、這兩個像素的灰度值均與m接近；

步驟23)、把灰度圖進行正視圖視角變換，在變換后的視圖中提取特征點，用來得到“穩?定”的特征點，具體步驟為：對于一幅給定的標志物的正視圖，用步驟22)中的方法提取出M個特征點，按特征點的坐標位置順序編號，構成一個特征點集合K＝{k₁，k₂……k_M}，集合中每個元素表示相應編號的一個特征點；對該標志物原始正視圖進行多個不同角度的透視變換，并給變換后的正視圖加上白噪聲，之后再利用步驟22)中的方法提取變換后的視圖的特征點，再利用反變換將提取出的特征點還原為相應的正視圖特征點；統計多個經過不同角度變換的視圖經上述“變換-提取-還原”后的特征點仍能找到原始正視圖相對應特征點的概率，概率最高的N個點被確認為“穩定”的特征點，集合K的元素數由M減為N，即K＝{K₁，K₂……K_N}；

步驟24)、將所有經不同角度的透視變換的正視圖中的同一個特征點取出，構成一個“特定視點集合”，得到N個“特定視點集合”，每個“特定視點集合”對應一個穩定特征點；所述“特定視點集合”的構成方法為：將原始正視圖分別繞x軸、y軸按(-π，+π)的范圍旋轉進行透視變換，將繞x軸的轉向均分為Lx個角度，將繞y軸的轉向均分為Ly個角度，得L＝Lx×Ly幅變換視圖，將所有變換視圖中編號相同的特征點取出，得到N個集合V_n＝{v_n1，v_n2……v_nL}，1≤n≤N，每個V_n就是對應一個特征點的“特定視點集合”，該集合中的每個元素包含了在不同視角變換下同一特征點的不同位置；

步驟25)、構建隨機樹用以特征點分類和識別。