[發(fā)明專利]基于智能手機(jī)前后攝像頭同時工作的視覺定位方法

有效

• 申請?zhí)枺?/td>: 201510065115.3
• 申請日: 2015-02-09
• 公開（公告）號: CN104680522B
• 公開（公告）日: 2017-06-23
• 發(fā)明（設(shè)計）人: 張宇;施嘯天;方舟
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06T7/70
• 分類號: G06T7/70;H04M1/725
• 代理公司: 杭州求是專利事務(wù)所有限公司33200
• 代理人: 邱啟旺

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)視覺與機(jī)器人交叉領(lǐng)域，涉及一種基于流行智能手機(jī)平臺前后攝像頭同時工作的視覺定位方法。

背景技術(shù)

在導(dǎo)航定位領(lǐng)域，視覺導(dǎo)航由于僅需要使用簡單的傳感器，適用于復(fù)雜的環(huán)境，有著較為廣泛的應(yīng)用。針對純視覺導(dǎo)航的誤差問題，又引入了IMU和視覺融合的定位和導(dǎo)航方法。

但以往的視覺定位和導(dǎo)航算法往往在室內(nèi)應(yīng)用時存在一定的問題。由于室內(nèi)光照條件的復(fù)雜，如常出現(xiàn)的單側(cè)強(qiáng)光照而另一側(cè)則比較昏暗，進(jìn)入房間時光照突變等，以往的視覺定位方法會出現(xiàn)交叉的

隨著智能手機(jī)的迅速發(fā)展，其計算能力已經(jīng)相當(dāng)可觀，同時也配備了充分的傳感器，如陀螺儀，加速度計，氣壓計，其攝像頭的精度也有了非常大的進(jìn)步。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對室內(nèi)光照條件的復(fù)雜，以及低成本實現(xiàn)視覺定位和導(dǎo)航的問題，提出一種基于流行智能手機(jī)平臺，同時使用前后攝像頭的室內(nèi)定位方法。

本發(fā)明解決其技術(shù)問題是通過以下技術(shù)方案來實現(xiàn)的：一種基于智能手機(jī)前后攝像頭同時工作的視覺定位方法，包括以下步驟：

(1)視覺數(shù)據(jù)獲取及預(yù)處理：智能手機(jī)放置于室內(nèi)環(huán)境，通過智能手機(jī)自帶的前后攝像頭獲取視覺圖像數(shù)據(jù)；根據(jù)實際應(yīng)用場景，選定固定的圖像獲取速率，記為m幀/秒，m取10-20；對獲得圖像進(jìn)行預(yù)處理；

(2)IMU數(shù)據(jù)獲取及預(yù)處理：獲得IMU數(shù)據(jù)，所述IMU數(shù)據(jù)為智能手機(jī)自帶的陀螺儀和加速度計數(shù)據(jù)；根據(jù)智能手機(jī)傳感器的性能，選定固定的傳感器數(shù)據(jù)獲取速率，記為n幀/秒；

(3)根據(jù)步驟1預(yù)處理后的視覺數(shù)據(jù)和步驟2預(yù)處理后的IMU數(shù)據(jù)，進(jìn)行設(shè)備位置和姿態(tài)估計，包括以下子步驟：

(3.1)當(dāng)僅有IMU數(shù)據(jù)，沒有圖像數(shù)據(jù)獲得時，使用IMU數(shù)據(jù)擴(kuò)展其狀態(tài)和協(xié)方差矩陣；

(3.2)當(dāng)圖像數(shù)據(jù)到達(dá)時，執(zhí)行以下操作：

(3.2.1)通過特征提取算法(常見的如SIFT，SURF等)獲得圖像數(shù)據(jù)的特征點及描述，在單側(cè)的圖像幀之間完成特征匹配，利用特征點優(yōu)化算法(如RANSAC)減少特征匹配的誤差；

(3.2.2)根據(jù)步驟3.2.1獲得的圖像特征數(shù)據(jù)及步驟3.1獲得的IMU狀態(tài)和協(xié)方差矩陣及圖像數(shù)據(jù)，使用擴(kuò)展卡爾曼濾波(EKF)，獲得攝像頭的位置和姿態(tài)估計；

(3.2.3)根據(jù)步驟3.2.2獲得的攝像頭位置和姿態(tài)估計以及最新的IMU數(shù)據(jù)，擴(kuò)展IMU狀態(tài)和協(xié)方差矩陣；

(3.3)若有標(biāo)記無效的單側(cè)攝像頭數(shù)據(jù)到達(dá)，則使用另一側(cè)攝像頭當(dāng)前的位置和姿態(tài)估計，結(jié)合設(shè)備上雙攝像頭相對位置，重新獲得無效側(cè)攝像頭初始位置，且拋棄其對應(yīng)的原所有攝像頭姿態(tài)數(shù)據(jù)。

進(jìn)一步地，所述步驟1具體包括以下子步驟：

(1.1)同時開啟智能手機(jī)的前后攝像頭(分別記為攝像頭A和攝像頭B)，同步前后攝像頭的獲取速率，使其保持相同的幀速m獲取圖像數(shù)據(jù)，禁用自動對焦以避免焦距的改變；

(1.2)圖像到達(dá)時分別測量并判斷其亮度，設(shè)置亮度閾值范圍為[T1,T2]，判斷每一幀圖像亮度是否在亮度閾值范圍內(nèi)；如圖像滿足亮度條件，更新對應(yīng)攝像頭的時間標(biāo)記，進(jìn)入步驟1.3，否則直接拋棄圖像；

(1.3)若雙側(cè)攝像頭采集的圖像均滿足亮度條件且獲取時間距上次符合要求的圖像的獲取時間均沒有超過時間閾值t，則將雙側(cè)圖像數(shù)據(jù)送入步驟3進(jìn)行融合；

(1.4)若單側(cè)攝像頭圖像獲取時間距上次符合要求的圖像的獲取時間超過時間閾值t，則標(biāo)記該攝像頭圖像數(shù)據(jù)無效，并把無效信息及另一側(cè)圖像數(shù)據(jù)送入步驟3，同時拋棄該無效攝像頭所有已存儲數(shù)據(jù)；

(1.5)若雙側(cè)攝像頭圖像獲取時間距上次符合要求的圖像的獲取時間均超過時間閾值t，則中止定位。

進(jìn)一步地，所述步驟3.2.1具體包括以下子步驟：

(3.2.1.1)對步驟1輸入的所有圖像應(yīng)用特征響應(yīng)函數(shù)凸顯特征點，如SIFT算法常用的高斯差操作；

(3.2.1.2)對步驟3.1.1處理后的圖像應(yīng)用非極值抑制操作，在特征函數(shù)的響應(yīng)圖里找出所有區(qū)域極小值和極大值；

(3.2.1.3)對步驟1輸入的所有圖像進(jìn)行降采樣后重復(fù)步驟3.1.1和3.1.2，實現(xiàn)特征識別的尺度不變性；

(3.2.1.4)將單側(cè)的多幀圖像的特征點相互匹配，實現(xiàn)特征點的對應(yīng)；

(3.2.1.5)通過RANSAC或類似算法優(yōu)化特征點匹配結(jié)果，去除錯誤的特征點對應(yīng)。