[發(fā)明專利]一種基于RGB-D相機(jī)和立體聲的視障人士樓梯檢測眼鏡

有效

• 申請?zhí)枺?/td>: 201611048783.6
• 申請日: 2016-11-23
• 公開（公告）號: CN106821693B
• 公開（公告）日: 2019-02-12
• 發(fā)明（設(shè)計(jì)）人: 于紅雷;楊愷倫;林書妃;陳天雪;汪凱巍
• 申請（專利權(quán)）人: 杭州視氪科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;A61H3/06
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種基于RGB-D相機(jī)和立體聲的視障人士樓梯檢測眼鏡，所述眼鏡包含眼鏡本體，以及固定在眼鏡本體上的一個(gè)RGB-D相機(jī)，一個(gè)姿態(tài)角傳感器，一個(gè)USB集線器，一個(gè)小型處理器，一個(gè)骨傳導(dǎo)耳機(jī)模塊，兩個(gè)骨傳導(dǎo)震動模塊和一個(gè)電池模塊；所述RGB-D相機(jī)固定在眼鏡鏡片上方，兩個(gè)骨傳導(dǎo)震動模位于兩個(gè)鏡腳中間偏后處，貼合盲人耳朵前方顱骨處；USB集線器、姿態(tài)角傳感器和小型處理器嵌于一個(gè)鏡腳內(nèi)；骨傳導(dǎo)耳機(jī)模塊和電池模塊嵌于另一個(gè)鏡腳內(nèi)；RGB-D相機(jī)與姿態(tài)角傳感器通過USB集線器與小型處理器相連，電池模塊與小型處理器相連；兩個(gè)骨傳導(dǎo)震動模塊均通過骨傳導(dǎo)耳機(jī)模塊與小型處理器相連；RGB-D相機(jī)實(shí)時(shí)地采集三維場景的深度圖像；姿態(tài)角傳感器實(shí)時(shí)獲取RGB-D相機(jī)的姿態(tài)角；USB集線器將一幅深度圖像和姿態(tài)角信息傳給小型處理器；小型處理器對深度圖像和姿態(tài)角信息進(jìn)行處理，獲取三維場景中每一點(diǎn)的三維坐標(biāo)，并計(jì)算每一點(diǎn)的局部表面法向量，利用法向量信息分割出三維場景中的平行于水平面的平面，并對平面的高度進(jìn)行聚類處理，最終獲取每一級樓梯的距離與方向，轉(zhuǎn)為立體聲信號，并傳給骨傳導(dǎo)耳機(jī)模塊；骨傳導(dǎo)耳機(jī)模塊將立體聲信號轉(zhuǎn)為骨傳導(dǎo)震動信號，傳給兩個(gè)骨傳導(dǎo)震動模塊，骨傳導(dǎo)震動模塊傳遞骨傳導(dǎo)震動信號給視障用戶；檢測樓梯的方法包括以下步驟：

(1)對RGB-D相機(jī)進(jìn)行一次相機(jī)標(biāo)定，獲取深度相機(jī)的焦距f，深度相機(jī)的主點(diǎn)位置(c_x,c_y)；

(2)RGB-D相機(jī)采集三維場景的深度圖像Depth；

(3)姿態(tài)角傳感器采集RGB-D相機(jī)的X，Y，Z三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z；

(4)USB集線器將深度圖像Depth，三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z傳給小型處理器；

(5)小型處理器根據(jù)深度圖像Depth，深度相機(jī)的焦距f，深度相機(jī)的主點(diǎn)位置(c_x,c_y)，可計(jì)算出每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)；深度圖像Depth中一點(diǎn)坐標(biāo)為(u,v)，其深度值為depth，則相機(jī)坐標(biāo)系下三維坐標(biāo)(X_c,Y_c,Z_c)可由公式(1)計(jì)算出：

(6)根據(jù)深度圖像中每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)，以及姿態(tài)角傳感器三軸方向的轉(zhuǎn)角分別為Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，則可由公式(2)計(jì)算出每一點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)(X_w,Y_w,Z_w)：

(7)根據(jù)深度圖像中每一點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)(X_w,Y_w,Z_w)，可計(jì)算每一點(diǎn)的局部表面法向量(n_x,n_y,n_z)；具體為：對每一點(diǎn)P，取離它最近的K個(gè)點(diǎn)P_i，i∈{1,2,...,K}；根據(jù)這K個(gè)點(diǎn)的三維坐標(biāo)，用最小二乘法擬合出一個(gè)局部平面，對該平面的法向量進(jìn)行歸一化處理，即獲取點(diǎn)P的局部表面法向量(n_x,n_y,n_z)；

(8)三維場景中每一點(diǎn)的局部表面法向量分量n_y可表征了該點(diǎn)的局部平面是否平行于水平面，剔除表面法向量分量n_y的絕對值|n_y|小于閾值threshold_n的點(diǎn)，threshold_n為0.85～0.95，獲取三維場景中在平行于水平面的平面上的點(diǎn)；

(9)三維場景中平行于水平面的平面上的點(diǎn)到RGB-D相機(jī)所在水平面的高度值為H可由該點(diǎn)世界坐標(biāo)系下的三維坐標(biāo)分量Y_w表示；對平行于水平面的平面上的點(diǎn)的高度值H進(jìn)行聚類處理，得到多個(gè)平行水平面的平面，計(jì)算每個(gè)平面的平均高度聚類處理的方法可為K-Means聚類算法、層次聚類算法、SOM聚類算法、FCM聚類算法；

(10)提取出高度以Δh依次遞增或遞減的N個(gè)平面，即為每一級樓梯的上平面，一共N級；如果N大于1，說明當(dāng)前場景中存在樓梯；Δh為樓梯高度，一般為0.2～0.3米；

(11)每一級樓梯的距離D可由每一級樓梯的上平面上的點(diǎn)的平均深度表示，每一級樓梯的方向角θ可由每一級樓梯的上平面上的點(diǎn)的平均水平坐標(biāo)與平均深度之商的反正切表示，即

(12)用N種不同音色的樂器的合奏來表示N級樓梯，不同樂器的發(fā)聲表示不同級樓梯；當(dāng)一級樓梯的距離D越小，則對應(yīng)這一級樓梯的樂器的響度Volume越大；每一種樂器的發(fā)聲都為立體聲，立體聲的方向和對應(yīng)的一級樓梯的方向角θ相對應(yīng)；

(13)小型處理器將立體聲信號傳給骨傳導(dǎo)耳機(jī)模塊；

(14)骨傳導(dǎo)耳機(jī)模塊將立體聲信號轉(zhuǎn)為骨傳導(dǎo)震動信號；

(15)骨傳導(dǎo)震動模塊將骨傳導(dǎo)信號傳遞給視障用戶。