[發明專利]一種基于RGB-D相機和立體聲的視障人士通路預知系統和方法

有效

• 申請號: 201611048370.8
• 申請日: 2016-11-23
• 公開（公告）號: CN107341789B
• 公開（公告）日: 2019-12-17
• 發明（設計）人: 于紅雷;楊愷倫;程瑞琦;陳浩;汪凱巍
• 申請（專利權）人: 杭州視氪科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;A61H3/06;G06T7/70;G06T7/30
• 代理公司: 33200 杭州求是專利事務所有限公司
• 代理人: 邱啟旺

本發明公開了一種基于RGB?D相機和立體聲的視障人士通路預知系統及方法。該方法利用紅外投射器投射不可見的近紅外靜態散斑，利用兩個紅外相機和一個RGB彩色相機采集圖像，小型處理器對采集的圖像進行處理，計算獲得深度圖像。該方法利用姿態角傳感器獲取相機的姿態角信息。小型處理器利用深度信息和姿態角信息，計算獲取高度圖像，并對高度圖像進行分塊，將分塊獲得的深度信息，轉化為立體聲信號，最后利用骨傳導耳機傳遞給視障人士進行輔助，可以很好地滿足視障人士通路預知的要求。

技術領域

本發明屬于視障人士輔助技術、雙目視覺技術、三維環境感知技術、立體聲交互技術領域。本發明包含一種基于RGB-D相機和立體聲的視障人士通路預知方法，涉及一種利用利用紅外投射器投射不可見的近紅外靜態散斑，利用兩個紅外相機和一個RGB相機采集圖像，小型處理器對采集的圖像進行處理，計算獲取深度圖像。小型處理器利用姿態角傳感器獲取相機的姿態角信息。小型處理器利用深度信息和姿態角信息，計算獲取高度圖像，并對高度圖像進行分塊，將將分塊獲得的深度信息，轉化為立體聲信號，最后利用骨傳導耳機傳遞給視障人士進行輔助的通路預知方法。

背景技術

根據世界健康組織統計，全世界有2.85億視覺障礙人士。視障人士損失了正常的視覺，對顏色、形狀、距離、運動的理解都很困難，他們的生活在起居、出行等方面都受到了巨大的影響。

傳統的視障人士輔助工具比如盲人手杖，視障人士需要反復移動手杖，才能獲知面前的情況，既費時也費力。盲人手杖的探測距離有限，只能檢測腳邊的障礙物，也無法反映遠處和空中的狀況。導盲犬可以為視障人士提供幫助，但是導盲犬的訓練和養護費用是高昂的，普通家庭難以承擔。有些場合，導盲犬不能陪同盲人進入，比如公交車和火車站，因此導盲犬的輔助是有局限性的。仿生眼可以幫助視障人士恢復部分視覺，但仿生眼的植入需要手術，費用高昂。仿生眼只適用于視網膜色素變性或老年性黃斑變性導致失明的盲人。視覺神經損壞的視障人士無法通過植入仿生眼來恢復部分視覺。

電子式的視障輔助工具主要運用超聲波技術、激光測距技術、雙目視覺技術、激光散斑編碼技術、激光雷達技術、毫米波雷達技術、熱成像技術、全球定位系統(GPS)。基于超聲波技術和激光測距技術的測距范圍有限，只能實現單點測距，獲取的信息量太少，且耗電多，設備笨重，只能實現報警功能，容易受環境干擾。基于雙目視覺技術的輔助依賴于環境中特征點和紋理的豐富程度，對于一些紋理單一的場景失效，如室內的白墻，光滑地面等。雙目視覺技術會受鏡面反射等特殊情形的欺騙，從而造成漏判或者誤判。基于激光散斑編碼技術的輔助在室外失效，因為主動投射的結構光被陽光淹沒，從而無法識別編碼的散斑。激光散斑編碼技術由于受到功率限制，存在最遠距離，超過最遠距離的物體無法對其測距。基于激光雷達技術的輔助成本高，通常采樣率低，對灰塵、霧霾、雨水敏感，而且無法獲取顏色和紋理信息。基于毫米波雷達的輔助分辨率低，信號處理過程難。基于熱成像技術的輔助分辨率低，標定過程復雜，且只能檢測人和動物等發熱物體。基于GPS的輔助精度低，會有信號損失，不能在室內使用，而且無法獲取局部動態的障礙物信息。

傳統視障人士輔助的交互方式主要有語音提示、觸覺震動。語義提示通常播報障礙物的距離和方向，需要一定的時間播放，造成延遲和事故風險，而且可傳遞的信息量少。觸覺震動通過震動腰帶或者震動背心為硬件，以震動來提示障礙物的方位，震動裝置可以解決延遲的問題，但給視障人士帶來負擔，不同人的穿戴感受不同。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于RGB-D相機和立體聲的視障人士通路預知系統和方法。