[發(fā)明專利]一種適用于先天性盲人學(xué)習(xí)識圖的智能觸點顯示方法及裝置

有效

• 申請?zhí)枺?/td>: 201910033777.0
• 申請日: 2019-01-15
• 公開（公告）號: CN109903300B
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計）人: 鄭雅羽;貴俊濤;寇喜超
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T5/00;G06T3/40;G06N3/04;G09B21/00
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

1.一種適用于先天性盲人學(xué)習(xí)識圖的智能觸點顯示方法，其特征在于，所述方法包括以下步驟：

步驟1：啟動顯示器，設(shè)置模式參數(shù)初始值M＝0，M∈(0，1，2)；

步驟2：判斷模式參數(shù)M：若M值為0，則為默認(rèn)全局場景模式，執(zhí)行步驟3；若M值為1，則為近景單對象模式，執(zhí)行步驟6；若M值為2，則為語音交互模式，執(zhí)行步驟8；

步驟3：當(dāng)前相機(jī)為普通攝像頭狀態(tài)，獲取一幀圖像數(shù)據(jù)，對圖像進(jìn)行預(yù)處理，并采用基于Mask R-CNN模型的實例分割算法對圖像進(jìn)行分割識別，得到不同的實例物體A、B、C以及它們的像素坐標(biāo)映射表；

步驟4：將步驟3檢測所得的實例對像進(jìn)行降分辨率操作，得到目標(biāo)分辨率圖像，并對該圖像進(jìn)行邊緣檢測，獲取各對象準(zhǔn)確的邊緣輪廓信息，進(jìn)行二值化處理；

步驟5：根據(jù)二值化結(jié)果，控制相應(yīng)的觸點升降，分區(qū)域在全局輪廓觸覺圖形顯示界面顯示；檢測盲人用戶觸摸瀏覽位置，根據(jù)坐標(biāo)映射到對象表，獲取當(dāng)前所瀏覽的A對象信息；判斷盲人瀏覽操作：若檢測到雙擊動作，語音提示當(dāng)前瀏覽對象，并執(zhí)行步驟9；否則重復(fù)檢測瀏覽操作；

步驟6：當(dāng)前相機(jī)為TOF攝像頭，獲取一幀圖像數(shù)據(jù)，根據(jù)彩色圖像檢測識別目標(biāo)對象A，并獲取目標(biāo)對象A的深度信息圖，將該深度圖進(jìn)行降分辨率操作，得到目標(biāo)分辨率圖像；根據(jù)深度信息，計算觸覺圖像中對應(yīng)觸點的上升值h；

步驟7：根據(jù)步驟6所得高度h，控制觸點模塊中各觸點上升高度，在三維觸覺圖像顯示區(qū)域進(jìn)行顯示；執(zhí)行步驟9；

步驟8：按下語音鍵，盲人用戶通過語音輸入想要查看的物體對象A，語音模塊根據(jù)輸入信息識別對象名稱；

步驟9：根據(jù)步驟5或者步驟6或者步驟8所得的A對象信息，匹配素材庫查找同類對象A1、A2、A3……并在盲文提示區(qū)域顯示提示信息，根據(jù)盲人用戶瀏覽操作進(jìn)行不同對象的三維形態(tài)顯示；

步驟10：判斷是否接收到結(jié)束信號：若是，則執(zhí)行下一步；否則，重新執(zhí)行步驟2；

步驟11：結(jié)束顯示，關(guān)閉顯示器；

所述步驟4的過程包括以下步驟：

步驟4.1：首先確定第一預(yù)定縮小比例p₁，與設(shè)定的閾值σ比較，若p₁＜σ，執(zhí)行下一步；若p₁≥σ，執(zhí)行步驟4.5；0＜p₁，σ＜1；

步驟4.2：根據(jù)閾值σ利用雙線性差值法對圖像進(jìn)行縮小處理；

步驟4.3：將縮小后的圖像的分辨率與設(shè)定閾值σ相乘，判斷乘積是否大于等于目標(biāo)分辨率：若大于或等于，則繼續(xù)執(zhí)行步驟4.2；若小于目標(biāo)分辨率，執(zhí)行下一步；

步驟4.4：根據(jù)上一步縮小結(jié)果，確定第二預(yù)定縮小比例p₂，并根據(jù)該縮小比例用雙線性插值法對步驟4.3結(jié)果圖像進(jìn)行縮小處理，得到目標(biāo)分辨率的圖像；0＜p₂＜1；

步驟4.5：根據(jù)第一預(yù)定縮小比例p₁，利用雙線性插值法對圖像進(jìn)行縮小處理，得到目標(biāo)分辨率的圖像；

步驟4.6：結(jié)合多尺度幾何分析方法，對所得目標(biāo)分辨率圖像進(jìn)行分析，采用基于contourlet變換的模極大值邊緣檢測方法對圖像進(jìn)行邊緣檢測，獲取各對象準(zhǔn)確且連續(xù)的邊緣輪廓信息；進(jìn)行二值化處理，輸出二值輪廓信息圖。

2.如權(quán)利要求1所述的一種適用于先天性盲人學(xué)習(xí)識圖的智能觸點顯示方法，其特征在于，所述步驟5中，檢測盲人用戶觸摸瀏覽位置是通過壓力傳感技術(shù)，所采用的方案是：在每個觸點單元連接壓力傳感芯片，根據(jù)用戶觸摸產(chǎn)生的按壓轉(zhuǎn)化成電信號進(jìn)行檢測，判斷用戶當(dāng)前瀏覽位置以及瀏覽操作，包括以下步驟：

步驟5.1：根據(jù)每個觸點單元連接的壓力傳感芯片，檢測手指觸摸的位置；

步驟5.2：根據(jù)觸摸位置坐標(biāo)確定當(dāng)前圖像所在位置，查詢映射表找相應(yīng)的對象信息；

步驟5.3：判斷瀏覽手勢：若在設(shè)定時間間隔t內(nèi)檢測到連續(xù)兩次觸摸同一觸點單元，則執(zhí)行下一步；否則判斷為正常瀏覽狀態(tài)，重復(fù)執(zhí)行步驟5.3；

步驟5.4：檢測到雙擊動作后，通過語音播報所瀏覽的對象信息，然后執(zhí)行步驟9。