[發(fā)明專利]一種基于深度學(xué)習(xí)獲取圖像城市范圍內(nèi)位置及姿態(tài)的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711493997.9
• 申請(qǐng)日: 2017-12-31
• 公開（公告）號(hào): CN108230240B
• 公開（公告）日: 2020-07-31
• 發(fā)明（設(shè)計(jì)）人: 紀(jì)榮嶸;郭鋒;黃劍波
• 申請(qǐng)（專利權(quán)）人: 廈門大學(xué)
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T7/73;G06N3/08;G06K9/62
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

一種基于深度學(xué)習(xí)獲取圖像城市范圍內(nèi)位置及姿態(tài)的方法，涉及圖像地理位置識(shí)別和增強(qiáng)現(xiàn)實(shí)領(lǐng)域。包括如下步驟：1)創(chuàng)建城市圖片集；2)對(duì)城市圖片集訓(xùn)練混合高斯模型，用訓(xùn)練出的混合高斯模型劃分城市地理區(qū)域；3)訓(xùn)練聯(lián)合學(xué)習(xí)圖片姿態(tài)估計(jì)和場(chǎng)景識(shí)別神經(jīng)網(wǎng)絡(luò)；4)初始化，上傳用戶的GPS或者網(wǎng)絡(luò)粗略位置信息；5)使用學(xué)習(xí)的劃分函數(shù)對(duì)粗略的位置信息進(jìn)行劃分，下載對(duì)應(yīng)網(wǎng)絡(luò)模型和需要展示的渲染資料到用戶端；6)采集用戶輸入相機(jī)視頻流，運(yùn)用下載的當(dāng)前區(qū)域的網(wǎng)絡(luò)模型預(yù)測(cè)當(dāng)前時(shí)刻的三個(gè)層面的定位結(jié)果，若網(wǎng)絡(luò)輸出的預(yù)測(cè)結(jié)果置信度高于閾值，則使用預(yù)測(cè)的位置和姿態(tài)參數(shù)進(jìn)行渲染資料的渲染。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像地理位置識(shí)別和增強(qiáng)現(xiàn)實(shí)領(lǐng)域，尤其是涉及一種基于深度學(xué)習(xí)獲取圖像城市范圍內(nèi)位置及姿態(tài)的方法。

背景技術(shù)

隨著移動(dòng)互聯(lián)網(wǎng)和智能設(shè)備的爆發(fā)式發(fā)展，拍攝和分享照片已經(jīng)成為人們?nèi)粘５囊徊糠?。如何從照片中推斷出照片被拍攝的位置和拍攝的視角成為一項(xiàng)很有意義的問題。從照片中推斷出拍攝位置和視角的問題在立體視覺(Multi-View Stereo)中也稱為相機(jī)的姿態(tài)估計(jì)問題，是計(jì)算機(jī)視覺和機(jī)器人領(lǐng)域中的一個(gè)基本問題，擁有廣泛的應(yīng)用，比如在增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡稱AR)，同時(shí)定位與地圖構(gòu)建(Simultaneous Localizationand Mapping，簡稱SLAM)，以及基于圖像的地理位置識(shí)別(Image-based LocationRecognition)通過把虛擬的3D圖像或標(biāo)注以接近真實(shí)的觀測(cè)視角重疊在相機(jī)視頻流上，以加強(qiáng)用戶對(duì)現(xiàn)實(shí)世界的理解，增強(qiáng)現(xiàn)實(shí)已經(jīng)被廣泛應(yīng)用于工業(yè)領(lǐng)域和消費(fèi)領(lǐng)域，包含教育、醫(yī)療、娛樂、設(shè)計(jì)、軍事等等。增強(qiáng)現(xiàn)實(shí)模塊需要實(shí)時(shí)地估計(jì)圖像的相機(jī)姿態(tài)，以提供相機(jī)設(shè)備在3D空間中對(duì)于位置和角度的6個(gè)自由度的參數(shù)，這一過程也稱為圖像重定位，或者“外參數(shù)標(biāo)定”(Extrinsic calibration)。姿態(tài)估計(jì)的速度和準(zhǔn)確度直接影響了增強(qiáng)現(xiàn)實(shí)的渲染，進(jìn)而決定了用戶體驗(yàn)的優(yōu)劣。

雖然Weyand T([1]Weyand T,Leibe B.Discovering favorite views ofpopular places with iconoid shift[C]//International Conference on ComputerVision.IEEE Computer Society,2011:1132-1139)，Li X([2]Herranz L,Jiang S,LiX.Scene Recognition with CNNs:Objects,Scales and Dataset Bias[C]//ComputerVision and Pattern Recognition.IEEE,2016:571-579)和Larson M在基于圖像場(chǎng)景識(shí)別和地點(diǎn)識(shí)別中做了許多優(yōu)秀的工作，但是他們大都只單純的進(jìn)行地名識(shí)別或經(jīng)緯度坐標(biāo)估計(jì)。Shotton等([3]Shotton J,Glocker B,Zach C,et al.Scene Coordinate RegressionForests for Camera Relocalization in RGB-D Images[C]//IEEE Conference onComputer Vision and Pattern Recognition.IEEE Computer Society,2013:2930-2937)則以RGB-D圖像作為輸入，用深度圖像創(chuàng)建場(chǎng)景坐標(biāo)的標(biāo)注，把每個(gè)像素從攝像機(jī)坐標(biāo)系映射到全局的場(chǎng)景坐標(biāo)系中。然后像素和預(yù)先標(biāo)注好的場(chǎng)景模型之間的映射關(guān)系訓(xùn)練一個(gè)回歸森林。場(chǎng)景坐標(biāo)回歸森林本質(zhì)上是在學(xué)習(xí)映射函數(shù)。然而，該算法的輸入是RGB-D圖像，RGB-D圖像僅適用于室內(nèi)場(chǎng)景。在測(cè)試階段，為了進(jìn)行圖像定位，首先將查詢圖片輸入到訓(xùn)練好的森林進(jìn)行回歸計(jì)算，然后使用基于RANSAC的姿態(tài)驗(yàn)證來確定一個(gè)一致的相機(jī)姿態(tài)結(jié)果。盡管坐標(biāo)回歸森林的準(zhǔn)確度非常高，但它的缺點(diǎn)主要是需要RGB-D圖像作為輸入，在實(shí)際使用中，RGB-D圖像只適用于室內(nèi)場(chǎng)景，并且RANSAC計(jì)算過程非常耗時(shí)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于深度學(xué)習(xí)獲取圖像城市范圍內(nèi)位置及姿態(tài)的方法。