[發明專利]一種基于RGB-D相機和立體聲的視障人士樓梯檢測系統及方法

有效

• 申請號: 201611048256.5
• 申請日: 2016-11-23
• 公開（公告）號: CN106821692B
• 公開（公告）日: 2019-02-12
• 發明（設計）人: 于紅雷;楊愷倫;林書妃;陳天雪;汪凱巍
• 申請（專利權）人: 杭州視氪科技有限公司
• 主分類號: A61H3/06
• 分類號: A61H3/06;G06T7/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于RGB?D相機和立體聲的視障人士樓梯檢測系統及方法。該方法利用RGB?D相機采集深度圖像，利用姿態角傳感器獲取相機的姿態角信息。小型處理器利用深度信息和姿態角信息，計算獲取三維坐標和表面法向量信息，利用表面法向量信息對三維場景中的平面進行提取，判別當前場景中是否存在樓梯，如果存在樓梯，則計算每一級樓梯的距離與方向，最后利用骨傳導耳機傳遞給視障人士進行輔助，可以很好地滿足視障人士預知樓梯的需求。

技術領域

本發明屬于視障人士輔助技術、三維環境感知技術、樓梯檢測技術、立體聲交互技術領域，涉及一種基于RGB-D相機和立體聲的視障人士樓梯檢測系統及方法。

背景技術

根據世界健康組織統計，全世界有2.85億視覺障礙人士。視障人士損失了正常的視覺，對顏色、形狀、距離、運動的理解都很困難，他們的生活在起居、出行等方面都受到了巨大的影響。

傳統的視障人士輔助工具比如盲人手杖，視障人士需要反復移動手杖，才僅僅能獲知腳邊的情況，在上下樓梯時，盲人手杖的使用也不方便。

導盲犬可以為視障人士提供幫助，但導盲犬在上下樓梯時比較迅速，難以照顧到視障人士精確定位每一級樓梯的需求。導盲犬的養護、訓練費用高昂，普通家庭難以承擔。

仿生眼可以幫助視障人士恢復部分視覺，但仿生眼只能幫助視障人士看到低分辨率的灰度圖像，難以區分樓梯與其他場景。仿生眼只適用于視網膜色素變性導致失明的盲人。

超聲波技術、激光測距技術等可以提供測距和障礙物預警的功能，但無法反映場景的信息，無法區分樓梯與其他障礙物或路況，且容易受環境干擾，耗電量大。

傳統視障人士輔助的交互方式主要有語音提示、觸覺震動。語義提示通常播報簡短的信息，需要一定的時間播放，造成延遲和事故風險，而且可傳遞的信息量少。觸覺震動通過震動腰帶或者震動背心為硬件，以震動來提示一些方位信息，可以解決延遲的問題，但給視障人士帶來負擔，不同人的穿戴感受不同。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于RGB-D相機和立體聲的視障人士樓梯檢測系統及方法。

本發明的目的是通過以下技術方案實現的：一種基于RGB-D相機和立體聲的視障人士樓梯檢測系統，所述系統包含一個RGB-D相機，一個姿態角傳感器，一個USB集線器，一個小型處理器，一個骨傳導耳機模塊，兩個骨傳導震動模塊，一個電池模塊。RGB-D相機與姿態角傳感器通過USB集線器與小型處理器相連，電池模塊與小型處理器相連。RGB-D相機實時地采集三維場景的深度圖像。姿態角傳感器實時獲取RGB-D相機的姿態角。USB集線器將一幅深度圖像和姿態角信息傳給小型處理器。小型處理器對深度圖像和姿態角信息進行處理，獲取三維場景中每一點的三維坐標，并計算每一點的局部表面法向量，利用法向量信息分割出三維場景中的平行于水平面的平面，并對平面的高度進行聚類處理，最終獲取每一級樓梯的距離與方向，轉為立體聲信號，并傳給骨傳導耳機模塊。骨傳導耳機模塊將立體聲信號轉為骨傳導震動信號，傳給兩個骨傳導震動模塊，骨傳導震動模塊傳遞骨傳導震動信號給視障用戶。

上述系統檢測樓梯的方法如下：

(1)對RGB-D相機進行一次相機標定，獲取深度相機的焦距f，深度相機的主點位置(c_x,c_y)。

(2)RGB-D相機采集三維場景的深度圖像Depth。

(3)姿態角傳感器采集RGB-D相機的X，Y，Z三軸方向的轉角Angle_X，Angle_Y，Angle_Z。

(4)USB集線器將深度圖像Depth，三軸方向的轉角Angle_X，Angle_Y，Angle_Z傳給小型處理器。