[發明專利]基于云端計算的盲人智能導航眼鏡系統及裝置

有效

• 申請號: 202210021863.1
• 申請日: 2022-01-10
• 公開（公告）號: CN114246767B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 李敏;張國成;陳凱翔;吉泉仲
• 申請（專利權）人: 河海大學
• 主分類號: A61H3/06
• 分類號: A61H3/06
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了基于云端計算的盲人智能導航眼鏡系統及裝置，包括采用攝像頭采集場景視頻信息，使用超聲波傳感器測量障礙物的距離，將采集的場景視頻信息傳輸到云端；通過部署在云端的目標檢測模型和測距避障模型對上傳的視頻圖像信息進行分析，完成目標識別、場景判定、人臉識別、測距定位任務；最后將信息分析結果和障礙物距離信息進行語音合成播報給盲人。本發明使得盲人智能導航眼鏡運行更加流暢，使用更加方便，具備更高的檢測速度和精度。

技術領域

本發明涉及盲人導航技術領域領域，尤其涉及基于云端計算的盲人智能導航眼鏡系統及裝置。

背景技術

盲人由于失去視力導致他們的生活范圍大大縮小，其大部分時間都將待在室內活動，考慮到室內起居生活是盲人生活必不可少的一部分，如何幫助盲人完成自己生活的起居，成為解決盲人生活困難，提升盲人生活質量的重要內容。近些年，室內導盲裝置的研究逐漸成為眾多學者和機構組織的研究方向，大量的研究成果即室內導盲裝置涌現，總結目前比較流行的導盲方式主要分以下幾種：傳感器導盲、射頻識別導盲、動物導盲等。

傳感器導盲主要使用超聲波、紅外線等傳感器探測障礙物。使用傳感器設計出來的導盲設備具有體積小、測距精度高等特點，但傳感器的測距范圍有限，且容易受環境因素的影響。采用射頻識別技術的RFID導盲方式是將RFID閱讀器嵌入導盲裝置中，并通過預先鋪設在盲道上的射頻識別標簽實現導盲。然而由于RFID電子標簽價格比較高，且地面鋪設范圍大，成本高，難以推廣實現。同時RFID技術也存在著電子標簽信息被非法修改的情況，其安全性還有待提高。動物導盲主要利用導盲犬，通過它們的嗅覺、視覺為盲人導航。但目前我國導盲犬專業訓練人員比較少，同時導盲犬的訓練難度較大，訓練時間較長，面對我國龐大的盲人數量，實行導盲犬助盲較為困難。針對室內環境，盲人導航眼鏡是一種不錯的選擇。但由于硬件條件限制，以及功能較為單一，現有的導盲眼鏡還在不斷的研究探索中。

近幾年來，隨著計算機硬件技術快速發展，盲人導航系統的硬件環境得到了持續改善，同時深度學習、圖像處理、語音合成、云端計算等技術日益成熟，并逐漸應用到人工智能的各個領域中。當前盲人導航系統對這些技術的應用較為單一，并沒有將它們有機結合起來實現更豐富的功能。

發明內容

發明目的：為了解決目前盲人導航設備受硬件性能限制，計算能力弱且功能單一，導盲效果不理想的問題，本發明提出一種基于云端計算的盲人智能導航眼鏡系統及裝置。

技術方案：基于云端計算的盲人智能導航眼鏡系統，其特征在于，包括數據采集模塊、數據分析模塊、數據處理模塊；

數據采集模塊：使用單目攝像頭采集當前場景視頻信息，使用超聲波傳感器測量當前場景無法識別的障礙物距離，將場景視頻信息通過ZeroMQ消息傳輸協議上傳至云端服務器；

數據分析模塊：通過部署在云端服務器的目標檢測算法和測距避障算法對上傳的視頻圖像進行分析，完成目標檢測、人臉識別、場景判定、測距定位任務；

所述目標檢測算法包含基于改進YOLOv3的目標檢測算法和基于opencv人臉檢測算法；

基于改進YOLOv3的目標檢測算法，使用K-means聚類算法對數據集的先驗框進行聚類分析，選出適合本數據集的先驗框數目以及大小，同時改進網絡結構，增加一個目標檢測層，再采用多尺度訓練；

采用1-IOU作為K-means算法的距離度量公式，基于交并比的距離度量公式如下：

d(box,centroid)＝1-IOU(box,centroid)

式中，centroid是聚類中心，box則是標注框，d(box,centroid)是每一個標注框與每一個聚類中心之間的距離，IOU(box,centroid)是標注框與聚類中心的交并比；