[發明專利]一種紅綠燈路口導盲方法及裝置

有效

• 申請號: 202210059247.5
• 申請日: 2022-01-19
• 公開（公告）號: CN114565897B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 楊福才;宮平;俞益洲;李一鳴;喬昕
• 申請（專利權）人: 北京深睿博聯科技有限責任公司;杭州深睿博聯科技有限公司
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V20/40;G06N3/0464;G06V10/774;G06V10/82;A61H3/06
• 代理公司: 北京天方智力知識產權代理事務所(普通合伙) 11719
• 代理人: 路遠

本發明提供一種紅綠燈路口導盲方法及裝置。所述方法包括：實時獲取導盲裝置前方的視頻圖像；利用識別模型檢測所述圖像中是否包括紅綠燈，如果包括，輸出所述紅綠燈的狀態以及紅綠燈與導盲裝置的距離；如果檢測到多組紅綠燈，基于紅綠燈與導盲裝置的距離和紅綠燈偏離圖像視野中心的距離識別出一組目標紅綠燈；如果只檢測到一組紅綠燈，所述紅綠燈即為目標紅綠燈；通過語音模塊實時播放與目標紅綠燈相關的提醒信息。本發明不但能夠自動檢測路口的紅綠燈狀態，還能從檢測到的多組紅綠燈中識別出目標紅綠燈，可以有效減少環境干擾，提高紅綠燈識別精度，為佩戴者提供更加穩定可靠的信息，從而增加佩戴者過紅綠燈路口的安全性。

技術領域

本發明屬于人工智能技術領域，具體涉及一種紅綠燈路口導盲方法及裝置。

背景技術

中國是全世界盲人最多的國家，約有500萬盲人，占全世界盲人口的18％。就絕對數字而言，中國盲人數早已超過諸如丹麥、芬蘭或挪威等國家的人口。而每年在中國約有45萬人失明。中國衛生部也曾指出，人口的迅速老齡化，人口增長等因素造成了中國盲人數量的不斷增加。與之相對的是中國現有的公共設施并沒有充分考慮盲人群體的使用場景，例如紅綠燈的設置等，這使得盲人在通過紅綠燈路口時存在極大的不便甚至危險。

隨著深度學習、計算機視覺、化學電池等技術的發展，一種可以長時間佩戴并且不會增加安全風險的可佩戴設備應運而生，最為常見的就是智能眼鏡。這種設備不僅易收納、易佩戴，而且較為美觀實用。現有的智能眼鏡一般使用紅外測距模塊進行距離測量，但是在過紅綠燈路口的場景下，因為佩戴高度和遮擋問題，紅外測距模塊通常無法測定佩戴者與對面紅綠燈的距離。

發明內容

為了解決現有技術中存在的上述問題，本發明提供一種紅綠燈路口導盲方法及裝置。

為了實現上述目的，本發明采用以下技術方案。

第一方面，本發明提供一種紅綠燈路口導盲方法，包括在導盲裝置中執行的以下步驟：

實時獲取導盲裝置前方的視頻圖像；利用識別模型檢測所述圖像中是否包括紅綠燈，如果包括，輸出所述紅綠燈的狀態以及紅綠燈與導盲裝置的距離；

如果檢測到多組紅綠燈，基于紅綠燈與導盲裝置的距離和紅綠燈偏離圖像視野中心的距離識別出一組目標紅綠燈；如果只檢測到一組紅綠燈，所述紅綠燈即為目標紅綠燈；

通過語音模塊實時播放與目標紅綠燈相關的提醒信息。

進一步地，所述識別模型主要由多個基礎卷積模塊組成，采用一個主干網絡對輸入的視頻圖像進行特征提取，并基于提取的圖像特征分別采取兩種不同的算法，在兩個輸出端分別輸出紅綠燈檢測結果和紅綠燈與導盲裝置的距離。

更進一步地，所述基礎卷積模塊采用將所有激活函數由ReLU替換為PReLU后的MobilenetV2結構。

進一步地，所述識別模型的訓練方法包括：

獲取實際的紅綠燈路口的視頻圖像；

對所述圖像進行標注，包括紅綠燈在所述圖像中的位置信息、紅綠燈顏色信息、像素級深度圖信息；

構建訓練數據集，利用所述訓練數據集對所述識別模型進行訓練。

進一步地，當檢測到多組紅綠燈時，目標紅綠燈的識別方法包括：

對檢測到的多組紅綠燈按照它們與導盲裝置的距離從小到大的順序排序，選取排在最前面的N組紅綠燈，N≥1；

分別計算所述N組紅綠燈與圖像視野中心的距離，所述距離最小的一組紅綠燈即為目標紅綠燈。

更進一步地，紅綠燈與圖像視野中心的距離的計算方法包括：

建立以圖像左上角為原點、以過左上角的兩條直角邊分別為橫軸和縱軸的直角坐標系；