[發明專利]交互式盲人輔助方法及設備

在審

• 申請號: 201710210615.0
• 申請日: 2017-03-31
• 公開（公告）號: CN107007437A
• 公開（公告）日: 2017-08-04
• 發明（設計）人: 陳文成;方舟;劉祥;盛強
• 申請（專利權）人: 北京郵電大學
• 主分類號: A61H3/06
• 分類號: A61H3/06
• 代理公司: 北京同立鈞成知識產權代理有限公司11205
• 代理人: 楊澤,劉芳

1.一種交互式盲人輔助方法，其特征在于，包括：

獲取深度攝像機采集的用戶周圍環境的深度圖像；

根據所述深度圖像和預存的圖像樣本信息，得到所述用戶周圍環境的描述信息，所述描述信息包括所述用戶所處的場景信息、所述場景中所包含的物體信息以及所述物體相對于所述用戶身上的預設參照點的方位信息，所述預存的圖像樣本信息包括預存的場景圖像樣本信息和物體樣本信息；

根據所述用戶周圍環境的描述信息，對所述用戶進行導盲輔助處理。

2.根據權利要求1所述的方法，其特征在于，所述根據所述用戶周圍環境的描述信息，對所述用戶進行導盲輔助處理，包括：

根據所述用戶周圍環境的描述信息，向所述用戶發送第一語音提示信息，所述第一語音提示信息用于向所述用戶發出描述所述周圍環境的語音信息。

3.根據權利要求2所述的方法，其特征在于，所述根據所述用戶周圍環境的描述信息，向所述用戶發送第一語音提示信息之后，還包括：

接收所述用戶根據所述第一語音提示信息發送的物體識別指令，所述物體識別指令中包含所述用戶所需識別的物體信息；

根據所述物體識別指令，向所述用戶發送第二語音提示信息，所述第二語音提示信息用于向所述用戶描述所需識別的物體的屬性信息。

4.根據權利要求3所述的方法，其特征在于，所述物體識別指令為手勢指令；

相應的，所述根據所述物體識別指令，向所述用戶發送第二語音提示信息，包括：

獲取所述手勢指令所包含的手部位置信息和姿態信息；

根據所述姿態信息確定所述用戶需要對物體的屬性信息進行的識別操作；

根據所述手部位置信息和姿態信息，以及所述場景中所包含的物體相對于所述預設參照點的方位信息，確定所述用戶所需識別的物體；

獲取所述用戶所需識別的物體的屬性信息，并將所述用戶發送所述第二語音提示信息。

5.根據權利要求4所述的方法，其特征在于，所述根據所述手部位置信息和姿態信息，以及所述場景中所包含的物體相對于所述用戶身上的預設參照點的方位信息，確定所述用戶所需識別的物體，包括：

根據所述手部位置信息，確定所述手部位置相對于所述預設參照點的方位信息；

將所述場景中所包含的物體相對于所述預設參照點的方位信息與所述手部位置相對于所述預設參照點的方位信息一致的物體確定為所述用戶所需識別的物體。

6.根據權利要求1所述的方法，其特征在于，所述根據所述用戶周圍環境的描述信息，對所述用戶進行導盲輔助處理，包括：

接收所述用戶發送的語音尋物指令，所述語音尋物指令中包含所述用戶所需尋找的物體信息；

根據所述用戶所需尋找的物體信息，在所述用戶周圍環境中查找相應的物體；

在查找到所述物體之后，向所述用戶發送第三語音提示信息，所述第三語音提示信息包括所述物體在所述用戶周圍環境中所處的方位信息。

7.根據權利要求1所述的方法，其特征在于，所述根據所述用戶周圍環境的描述信息，對所述用戶進行導盲輔助處理，包括：

根據所述用戶周圍環境的描述信息，確定是否存在障礙物；

若存在障礙物，則向所述用戶發送第三語音提示信息，所述第三語音提示信息用于提示所述用戶周圍存在的障礙物的分布信息；

獲取所述用戶在避障過程中的手部位置，根據所述手部位置以及所述障礙物的分布信息，確定所述用戶與所述障礙物之間的距離信息，并在所述距離信息小于預設閾值時向所述用戶發送避障提示信息。

8.根據權利要求7所述的方法，其特征在于，還包括：

根據所述用戶周圍存在的障礙物的分布信息，生成行走路徑信息；

向所述用戶發送所述行走路徑信息，以便所述用戶根據所述行走路徑信息進行避障前行。

9.根據權利要求1所述的方法，其特征在于，所述根據所述用戶周圍環境的描述信息，對所述用戶進行導盲輔助處理，包括：

接收用戶發送的導航指令，所述導航指令包含所述用戶的目的地；

獲取所述用戶從當前的位置到所述目的地的規劃路徑；

在所述用戶沿著所述規劃路徑行走的過程中，據所述用戶周圍環境的描述信息，對所述用戶進行導盲輔助處理。

10.一種交互式盲人輔助設備，其特征在于，包括：深度攝像機、處理器、存儲器，所述深度攝像機與所述處理器連接，所述存儲器與所述處理器連接；

所述存儲器中存儲有程序代碼；

所述處理器調用所述存儲器中所存儲的程序代碼，執行權利要求1-9中任一項權利要求所述的方法。