[發明專利]一種基于深度視覺的可穿戴導盲設備及服務器

有效

• 申請號: 202010529261.8
• 申請日: 2020-06-11
• 公開（公告）號: CN111783557B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 周昱臣;趙小燕;吳平禹;楊欽辰;馬佳佳;劉歡;齊一睿;張朝暉
• 申請（專利權）人: 北京科技大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/26;G06V10/762
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種基于深度視覺的可穿戴導盲設備，其特征在于，包括：深度攝像頭、處理器、導盲提示模塊及電路控制模塊；

所述處理器分別與深度攝像頭及導盲提示模塊連接，所述電路控制模塊分別與前述各個模塊連接，用于為導盲設備提供電源及對各個模塊的電路進行管理；

所述深度攝像頭，用于獲取自身前方預定視場內的圖像流，并發送給所述處理器；所述圖像流包括深度圖像與彩色圖像；

所述處理器，用于將所述深度圖像轉換為以灰度表示深度的初始RGB-D圖像，用聚類算法對所述初始RGB-D圖像進行修復處理，得到RGB-D修復圖像；

及對所述彩色圖像進行語義分割處理，得到分割后的彩色修復圖像；

根據預設的灰度閾值，利用得到的分割后的所述彩色修復圖像對所述RGB-D修復圖像進行聚類處理，得到包含不同灰度信息的分布圖像；所述灰度信息包括視場角內的障礙物及其到當前拍攝視點的距離；

根據所述分布圖像的灰度信息確定出障礙物的位置，并基于所述障礙物的位置發送導盲信息至所述導盲提示模塊；

所述導盲提示模塊，用于根據所述導盲信息對用戶進行路徑導盲提示；

所述處理器，用聚類算法對所述初始RGB-D圖像進行修復處理，得到RGB-D修復圖像包括：

對所述初始RGB-D圖像，設定聚類個數、模糊指數、收斂精度及迭代次數；

初始化一個隸屬度，根據K均值聚類算法計算出一個第一聚類中心；

將得到的所述第一聚類中心作為KFCM算法的初始聚類中心使用，根據隸屬度迭代公式計算第一次迭代隸屬度u^(k+1)，所述隸屬度u_ij迭代公式為：

根據聚類中心迭代公式計算得到第一次迭代之后的聚類中心v^(k+1)，令k＝k+1，其中聚類中心迭代公式為：其中K(x_j,v_i)是高斯徑向基函數，其形式為m為模糊指數，k為迭代次數，k的初始值為0，u_ij是隸屬度，v_i表示聚類中心；

重復迭代計算隸屬度和聚類中心，直到存在i使其中c為聚類個數，i為當前迭代次數，i為正整數、且1≤i≤c；

調用KFCM算法目標核函數，基于最后一次計算得到的隸屬度與聚類中心，構建原始空間的點坐標與特征空間坐標的映射關系，根據所述映射關系將原始空間的點轉換到特征空間中，以對初始RGB-D圖像進行最優劃分處理。

2.根據權利要求1所述的導盲設備，其特征在于，所述處理器，對所述彩色圖像進行語義分割處理，得到分割后的彩色修復圖像包括：

制作訓練樣本數據集；

將樣本數據進行批量處理并輸入選定的編碼-解碼類深度學習模型中訓練，輸出得到圖像分割模型；

將待處理的圖像修改為預定像素大小的RGB圖像，并將RGB三原色的值進行數字標準化；

將數字標準化處理后的RGB圖像輸入所述圖像分割模型，對所述RGB圖像進行壓縮提純處理，獲取圖像中每個像素點的類別并輸出，得到分割后的彩色修復圖像。

3.根據權利要求2所述的導盲設備，其特征在于，根據預設的灰度閾值，利用得到的分割后的所述彩色修復圖像對所述RGB-D修復圖像進行聚類包括：

基于所述分割后的彩色修復圖像的語義分割結果對RGB-D修復圖像進行分割和標注，得到標注的RGB-D圖像；

對所述標注的RGB-D圖像進行處理，提取圖像中所有極小值點的深度，利用所述彩色修復圖像的語義分割結果對所述極小值點進行聚類；其中，聚類結果中包括灰度信息；

根據預設的灰度閾值，將上述聚類結果中的灰度分為三個等級，并分別對所述灰度賦相應等級區間內的灰度值，得到包含三種灰度值的分布圖像結果。

4.根據權利要求1所述的導盲設備，其特征在于，所述導盲提示模塊包括音頻輸出單元，所述處理器，還用于在根據所述分布圖像的灰度信息確定出障礙物的位置同時或之后，將確定出的障礙物的分布圖像轉化為電子立體聲和普通話語音播報信息輸出至所述音頻輸出單元；

所述音頻輸出單元，用于以語音播報的形式向用戶反饋障礙物位置分布并進行路徑導盲提示，以使用戶根據所述路徑導盲提示行走。