[發明專利]一種將視覺信息轉換成聽覺信息的視覺輔助方法

在審

• 申請號: 201410797560.4
• 申請日: 2014-12-19
• 公開（公告）號: CN105761235A
• 公開（公告）日: 2016-07-13
• 發明（設計）人: 楊德海
• 申請（專利權）人: 天津市巨海機電設備安裝有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;H04R5/033
• 代理公司: 天津濱海科緯知識產權代理有限公司 12211
• 代理人: 楊慧玲

技術領域

本發明屬于機器視覺領域，具體涉及一種將視覺信息轉換成聽覺信息的視覺輔助方法。

背景技術

人類接觸到的外界信息有70％來源于視覺，視力的喪失造成了這部分殘疾人的生活和工作極度不便，因此人們一直在努力研究輔助方法來幫助對周圍的生活環境做出正確的理解，利用科技手段幫助視障者拓展獨立生活及工作能力逐漸成為一項備受關注的課題。目前國內外視覺輔助器材的研制尚處于起步階段，涉足該領域的科研人員相對有限，雖然取得了一定成就，但其功能依然具有較大的局限性。常用助盲系統主要采用超聲波傳感器，該方法簡單但功能僅局限于障礙物探測。機器視覺技術是近年來國際上的一個研究熱點，被廣泛應用于導航、智能機器人、三維測量學及虛擬現實等領域，該方法功能強大，可實現障礙物定位與跟蹤、道路識別、物體識別等多項功能，其提供的視覺功能，賦予了為視障者實現或者替代部分視覺功能的目標以一種現實的可能性。

目前比較成熟的視覺輔助方法中，基于將圖像轉換成聲音的OIC系統成為普遍適用的方法。然而OIC系統只能將圖像轉換成聲音信號，該方法不符合人類的感知習慣，因此發明是將目標物體的3D位置信息轉換成聲音信號，用戶通過收聽該聲音信號判斷目標物體的空間位置。

發明內容

本發明要解決的技術問題是提供一種將視覺信息轉換成聽覺信息的視覺輔助方法。

本發明是通過以下技術方案實現的，本發明步驟如下：

步驟一，采集環境中物體左右兩幅圖像，對圖像進行預處理，包括消除噪聲、圖像增強。

步驟二，利用相機獲得周圍環境的立體圖像對后，從中選取盲人關注的目標物體。

步驟三，對目標物體進行特征提取及匹配，并利用三角測量原理恢復出匹配目標點的三維位置信息。

步驟四，產生包含目標空間位置的三維聲像，盲人通過收聽該立體聲音信號來判斷目標物體所在的位置。

所述步驟一中，采集圖像是采用雙目相機。

所述步驟二中，獲取目標物體是通過建立視覺注意度模型，得到所關注物體的顯著圖進行圖像分割，得到目標物體。

所述步驟三中，首先采用主成分分析與SIFT算法相結合進行特征點匹配，再將匹配結果用極線約束理論進行篩選，再根據雙目視覺原理得到匹配點的三維位置信息。

所述步驟四中，是通過頭相關傳遞函數產生含有空間位置的三維聲像，頭相關函數是通過測量少量位置的HRTF并經過插值方法獲得。

盲人通過聽覺判斷目標物體的空間位置。

與現有技術相比，本發明有以下幾方面的優點：設備簡單，攜帶方便，符合人類的感知習慣。

具體實施方式

下面對本發明的實施例做詳細說明：本實施例在以本發明技術方案為前提下進行實施，給出了詳細的實施方式和過程，但本發明的保護范圍不限于下述實施例。

實施例的實現過程如下：

1.雙目相機固定放置在盲人的頭頂，采集前方左右兩幅圖像，對圖像進行預處理；

2.將得到的圖像結果進行目標提取得到目標物體；利用ITTI模型，通過建立視覺注意度模型，得到所關注物體的顯著圖進行圖像分割，得到目標物體。

3.將得到目標物體首先采用主成分分析與SIFT算法相結合進行特征點初次匹配，(1)構建尺度空間(2)檢測DOG尺度空間極值點(3)特征點的描述(4)特征點的匹配

利用SIFT方法對兩幅圖像進行關鍵點匹配，一般情況下會得到數量眾多的匹配點，其中也會有一些錯誤的匹配情況，針對這個問題，在選取匹配點對時，我們利用極線幾何原理對得到的大量的匹配點進行篩選，保留少量的并且準確的匹配點。再通過雙目測距算法，得到目標物體的三維位置信息。

4.如果已知在一個自由聲場中的人耳的脈沖響應，把單音源信號分別與左右耳的脈沖響應進行卷積處理后，輸出的雙耳聲信號通過耳機重發，就可以使聽者感知到的虛擬環境中空間三維的聲音信號，等同聽到真實世界的聲音效果。

得到了目標物體的位置之后，用頭相關傳遞函數與聲源信號做卷積產生包含目標空間位置的三維聲像。由于每個人的生理結構互不相同，個體之間的HRTF存在許多差異，因此只有使用聽者本人的個性HRTF，才能獲得最優的3D聲場重建效果。通過測量少量位置頭相關函數并經過插值的方法得到，從而達到幫助盲人精確定位的目的。

盲人通過佩戴耳機收聽該立體聲音信號從而判斷目標物體所在的位置，從而進行行走避障。

由以上實施例可以看出，本發明能夠幫助盲人通過收聽聲音信息判斷目標物體的空間位置信息，從而更好的判斷周圍環境信息，幫助盲人更好的生活。