[發明專利]基于三維視覺的圓柱體增強現實方法、系統、裝置

有效

• 申請號: 201910360629.X
• 申請日: 2019-04-30
• 公開（公告）號: CN110120101B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 唐付林;吳毅紅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/10;G06T7/73
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于計算機視覺領域，具體涉及了一種基于三維視覺的圓柱體增強現實方法、系統、裝置，旨在解決現有技術很難對圓柱體進行增強現實的問題。本發明方法包括：對獲取的圓柱體多視角的視頻圖像集中每一個圖像，采用霍夫變換方法擬合圓柱體在圖像中的輪廓線，并建世界坐標系；基于射影不變性和成像原理，計算每張圖像對應的相機姿態；重建圓柱體三維模型；基于重建的三維模型獲取視頻圖像并進行幀間相機姿態跟蹤計算，獲得每一幀圖像對應的相機姿態；通過獲得的相機姿態將虛擬圖像疊加到圓柱體視頻圖像上，實現圓柱體增強現實。本發明方法離線重建和在線跟蹤精度高、速度快，并且疊加的虛擬物體穩定，實現了圓柱體增強現實的目的。

技術領域

本發明屬于計算機視覺領域，具體涉及了一種基于三維視覺的圓柱體增強現實方法、系統、裝置。

背景技術

近年來，增強現實改變了傳統的視頻信息交互應用的理念，在醫療，軍事，教育，娛樂等領域有著巨大的應用前景。無論是在學術界還是在工業界，增強現實都受到了廣泛的關注。起初，有許多平面方形的標記物被用于增強現實，例如ARToolKit,，ARTag，AprilTag等。ARToolKit是最早的最受歡迎的，ARTag和AprilTa都是基于ARToolKit的思想進行改進的。后來，平面圓形的標記物逐漸流行起來，比如Mono-spectrum,，CCTag，RUNETag等。無論是平面方形的標記物還是平面圓形的標記物，都是根據計算相機姿態把虛擬物體投影到真實物體上實現增強現實的。針對這些平面標記物，它們都一個共同的缺點，必須打印這些平面標記物然后將打印的平面標記物放在場景中才能夠實現增強現實，操作不是很方便。進一步，出現了不需要標記的增強現實技術，但都是局限在對平面的增強上，對于圓柱體曲面的增強現實困難很多，相關技術在國內外鮮少。

發明內容

為了解決現有技術中的上述問題，即現有技術很難對圓柱體進行增強現實的問題，本發明提供了一種基于三維視覺的圓柱體增強現實方法，包括：

步驟S10，獲取圓柱體多視角視頻圖像集，作為輸入圖像集；

步驟S20，對所述輸入圖像集中每一個圖像，采用霍夫變換方法擬合圓柱體在圖像中的輪廓線，并建立該圖像中圓柱體的世界坐標系；

步驟S30，基于所述輸入圖像集中每一個圖像擬合得到的圓柱體的輪廓線、對應的世界坐標系，基于射影不變性和成像原理，計算每張圖像對應的相機姿態；

步驟S40，提取所述輸入圖像集中每一個圖像的特征點，并基于所述圖像對應的相機姿態，重建特征點對應的空間點，獲得重建的圓柱體三維模型；

步驟S50，基于所述重建的圓柱體三維模型，獲取對應的圓柱體視頻圖像并進行初始化，獲得初始相機姿態和三維-二維對應關系；

步驟S60，基于所述初始相機姿態和三維-二維對應關系，進行幀間相機姿態跟蹤計算，獲得每一幀圖像對應的相機姿態；

步驟S70，采用所述每一幀圖像對應的相機姿態，將輸入的虛擬圖像疊加到所述圓柱體視頻圖像上，以實現圓柱體增強現實。

在一些優選的實施例中，步驟S20中“對所述輸入圖像集中每一個圖像，采用霍夫變換方法擬合圓柱體在圖像中的輪廓線，并建立該圖像中圓柱體的世界坐標系”，其方法為：

步驟S201，對所述輸入圖像集中每一個圖像，采用霍夫變換方法擬合圓柱體的兩條邊緣直線l₁和l₂，同時擬合圓柱體的兩條二次曲線c₁和c₂；