[發(fā)明專利]一種基于RGB-D相機(jī)和立體聲的視障人士斑馬線檢測(cè)眼鏡

有效

• 申請(qǐng)?zhí)枺?/td>: 201611049926.5
• 申請(qǐng)日: 2016-11-23
• 公開（公告）號(hào): CN106651873B
• 公開（公告）日: 2019-11-22
• 發(fā)明（設(shè)計(jì)）人: 楊愷倫;程瑞琦;趙向東;于紅雷
• 申請(qǐng)（專利權(quán)）人: 杭州視氪科技有限公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/90;G02C11/00
• 代理公司: 33200 杭州求是專利事務(wù)所有限公司
• 代理人: 邱啟旺<國際申請(qǐng)>=<國際公布>=<進(jìn)入

本發(fā)明公開了一種基于RGB?D相機(jī)和立體聲的視障人士斑馬線檢測(cè)眼鏡。該眼鏡利用RGB?D相機(jī)采集彩色圖像和深度圖像，利用姿態(tài)角傳感器獲取相機(jī)的姿態(tài)角信息。小型處理器根據(jù)深度信息和姿態(tài)角信息，計(jì)算獲取場(chǎng)景的三維坐標(biāo)。小型處理器對(duì)三維信息進(jìn)行處理，去除彩色圖像中空中物體對(duì)斑馬線檢測(cè)的干擾。小型處理器對(duì)彩色圖像分塊，并計(jì)算每一塊的雙極系數(shù)，篩選出可能為斑馬線的區(qū)塊，利用連通域分析檢出斑馬線區(qū)域。本方法最終通過骨傳導(dǎo)耳機(jī)傳遞斑馬線的距離和方向給視障人士進(jìn)行輔助，可以很好地滿足視障人士預(yù)知斑馬線的需求。

技術(shù)領(lǐng)域

本發(fā)明屬于視障人士輔助技術(shù)、三維環(huán)境感知技術(shù)、斑馬線檢測(cè)技術(shù)、立體聲交互技術(shù)領(lǐng)域，尤其涉及一種基于RGB-D相機(jī)和立體聲的視障人士斑馬線檢測(cè)眼鏡，利用RGB-D相機(jī)采集彩色圖像和深度圖像，利用姿態(tài)角傳感器獲取相機(jī)的姿態(tài)角信息。小型處理器利用深度信息和姿態(tài)角信息，計(jì)算獲取場(chǎng)景的三維坐標(biāo)。小型處理器對(duì)三維信息進(jìn)行處理，去除彩色圖像中空中物體對(duì)斑馬線檢測(cè)的干擾。小型處理器對(duì)彩色圖像分塊，并計(jì)算每一塊的雙極系數(shù)，篩選出可能為斑馬線的區(qū)塊，利用連通域分析檢出斑馬線區(qū)域，最終通過骨傳導(dǎo)耳機(jī)傳遞斑馬線的距離和方向給視障人士進(jìn)行輔助。

背景技術(shù)

根據(jù)世界健康組織統(tǒng)計(jì)，全世界有2.85億視覺障礙人士。視障人士損失了正常的視覺，對(duì)顏色、形狀、距離、運(yùn)動(dòng)的理解都很困難，他們的生活在起居、出行等方面都受到了巨大的影響。尤其是路口的通行，尋找斑馬線區(qū)域，安全地過馬路是視障人士的一大痛點(diǎn)。

傳統(tǒng)的視障人士過馬路輔助方法，通過聽路口處紅綠燈的變化的聲音，以及聽路口車輛通過的聲音來猜測(cè)斑馬線區(qū)域，這種判斷是極其不準(zhǔn)確的，而且很多路口的紅綠燈聲音播報(bào)系統(tǒng)損壞，無法給視障人士提供幫助。

導(dǎo)盲犬可以為視障人士過馬路提供幫助，但導(dǎo)盲犬在過馬路時(shí)比較迅速，難以照顧到視障人士精確定位斑馬線區(qū)域的需求。導(dǎo)盲犬的養(yǎng)護(hù)、訓(xùn)練費(fèi)用高昂，普通家庭難以承擔(dān)。另外很多城市的導(dǎo)盲犬培訓(xùn)是不合格的，對(duì)視障人士的幫助有限。

基于彩色相機(jī)的斑馬線檢測(cè)，有很大概率被空中物體等所干擾，斑馬線檢測(cè)的準(zhǔn)確性有限，而且也不能獲知斑馬線區(qū)域的精確距離和方位，對(duì)視障人士的幫助有限。

傳統(tǒng)視障人士輔助的交互方式主要有語音提示、觸覺震動(dòng)。語義提示通常播報(bào)簡短的信息，需要一定的時(shí)間播放，造成延遲和事故風(fēng)險(xiǎn)，而且可傳遞的信息量少。觸覺震動(dòng)通過震動(dòng)腰帶或者震動(dòng)背心為硬件，以震動(dòng)來提示一些方位信息，可以解決延遲的問題，但給視障人士帶來負(fù)擔(dān)，不同人的穿戴感受不同。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于RGB-D相機(jī)和立體聲的視障人士斑馬線檢測(cè)眼鏡。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：一種基于RGB-D相機(jī)和立體聲的視障人士斑馬線檢測(cè)眼鏡，所述眼鏡包含眼鏡本體、以及固定在眼鏡本體上的一個(gè)RGB-D相機(jī)，一個(gè)姿態(tài)角傳感器，一個(gè)USB集線器，一個(gè)小型處理器，一個(gè)骨傳導(dǎo)耳機(jī)模塊，兩個(gè)骨傳導(dǎo)震動(dòng)模塊和一個(gè)電池模塊。所述RGB-D相機(jī)固定在眼鏡鏡片上方，兩個(gè)骨傳導(dǎo)震動(dòng)模位于兩個(gè)鏡腳中間偏后處，貼合盲人耳朵前方顱骨處；USB集線器、姿態(tài)角傳感器和小型處理器嵌于一個(gè)鏡腳內(nèi)；骨傳導(dǎo)耳機(jī)模塊和電池模塊嵌于另一個(gè)鏡腳內(nèi)；RGB-D相機(jī)與姿態(tài)角傳感器通過USB集線器與小型處理器相連，電池模塊與小型處理器相連；兩個(gè)骨傳導(dǎo)震動(dòng)模塊均通過骨傳導(dǎo)耳機(jī)模塊與小型處理器相連。RGB-D相機(jī)實(shí)時(shí)地采集三維場(chǎng)景的彩色圖像和深度圖像。姿態(tài)角傳感器實(shí)時(shí)獲取RGB-D相機(jī)的姿態(tài)角。小型處理器對(duì)RGB-D相機(jī)采集的彩色圖像和深度圖像，姿態(tài)角傳感器采集的姿態(tài)角信息進(jìn)行分析，檢測(cè)出三維場(chǎng)景的斑馬線區(qū)域，并計(jì)算出斑馬線區(qū)域和方向，并將處理結(jié)果轉(zhuǎn)化為立體聲信號(hào)，傳到骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)化為骨傳導(dǎo)震動(dòng)信號(hào)，傳到兩個(gè)骨傳導(dǎo)震動(dòng)模塊。最終骨傳導(dǎo)震動(dòng)模塊通過震動(dòng)傳輸立體聲信號(hào)給視障用戶，告知視障用戶當(dāng)前場(chǎng)景中斑馬線區(qū)域的區(qū)域和方向。

上述眼鏡的斑馬線檢測(cè)方法如下：