[發明專利]基于智能手機前后攝像頭同時工作的視覺定位方法

有效

• 申請號: 201510065115.3
• 申請日: 2015-02-09
• 公開（公告）號: CN104680522B
• 公開（公告）日: 2017-06-23
• 發明（設計）人: 張宇;施嘯天;方舟
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/70
• 分類號: G06T7/70;H04M1/725
• 代理公司: 杭州求是專利事務所有限公司33200
• 代理人: 邱啟旺

1.一種基于智能手機前后攝像頭同時工作的視覺定位方法，其特征在于，包括以下步驟：

(1)視覺數據獲取及預處理：智能手機放置于室內環境，通過智能手機自帶的前后攝像頭獲取視覺圖像數據；根據實際應用場景，選定固定的圖像獲取速率，記為m幀/秒，m取10-20；對獲得圖像進行預處理；該步驟具體包括以下子步驟：

(1.1)同時開啟智能手機的前后攝像頭，同步前后攝像頭的獲取速率，使其保持相同的幀速m獲取圖像數據，禁用自動對焦以避免焦距的改變；

(1.2)圖像到達時分別測量并判斷其亮度，設置亮度閾值范圍為[T1,T2]，判斷每一幀圖像亮度是否在亮度閾值范圍內；如圖像滿足亮度條件，更新對應攝像頭的時間標記，進入步驟(1.3)，否則直接拋棄圖像；

(1.3)若雙側攝像頭采集的圖像均滿足亮度條件且獲取時間距上次符合要求的圖像的獲取時間均沒有超過時間閾值t，則將雙側圖像數據送入步驟(3)進行融合；

(1.4)若單側攝像頭圖像獲取時間距上次符合要求的圖像的獲取時間超過時間閾值t，則標記該攝像頭圖像數據無效，并把無效信息及另一側圖像數據送入步驟(3)，同時拋棄該攝像頭所有已存儲數據；

(1.5)若雙側攝像頭圖像獲取時間距上次符合要求的圖像的獲取時間均超過時間閾值t，則中止定位；

(2)IMU數據獲取及預處理：獲得IMU數據，所述IMU數據為智能手機自帶的陀螺儀和加速度計數據；根據智能手機傳感器的性能，選定固定的傳感器數據獲取速率，記為n幀/秒；

(3)根據步驟(1)預處理后的視覺數據和步驟(2)預處理后的IMU數據，進行設備位置和姿態估計，包括以下子步驟：

(3.1)當僅有IMU數據，沒有圖像數據獲得時，使用IMU數據擴展其狀態和協方差矩陣；

(3.2)當圖像數據到達時，執行以下操作：

(3.2.1)通過特征提取算法獲得圖像數據的特征點及描述，在單側的圖像幀之間完成特征匹配，利用特征點優化算法減少特征匹配的誤差；

(3.2.2)根據步驟(3.2.1)獲得的圖像特征數據及步驟(3.1)獲得的IMU狀態和協方差矩陣及圖像數據，使用擴展卡爾曼濾波，獲得攝像頭的位置和姿態估計；

(3.2.3)根據步驟(3.2.2)獲得的攝像頭位置和姿態估計以及最新的IMU數據，擴展IMU狀態和協方差矩陣；

(3.3)若有標記無效的單側攝像頭數據到達，則使用另一側攝像頭當前的位置和姿態估計，結合設備上雙攝像頭相對位置，重新獲得無效側攝像頭初始位置，且拋棄其對應的原所有攝像頭姿態數據。

2.根據權利要求1所述基于智能手機前后攝像頭同時工作的視覺定位方法，其特征在于，所述步驟(3.2.1)具體包括以下子步驟：

(3.2.1.1)對步驟(1)輸入的所有圖像應用特征響應函數凸顯特征點；

(3.2.1.2)對步驟(3.1.1)處理后的圖像應用非極值抑制操作，在特征函數的響應圖里找出所有區域極小值和極大值；

(3.2.1.3)對步驟(1)輸入的所有圖像進行降采樣后重復步驟(3.1.1)和(3.1.2)，實現特征識別的尺度不變性；

(3.2.1.4)將單側的多幀圖像的特征點相互匹配，實現特征點的對應；

(3.2.1.5)通過RANSAC算法優化特征點匹配結果，去除錯誤的特征點對應。