[發明專利]基于視覺智能的多重障礙者的手眼協同方法及裝置

有效

• 申請號: 202110458607.4
• 申請日: 2021-04-27
• 公開（公告）號: CN113180894B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 卜佳俊;章越清;于智;顧靜軍
• 申請（專利權）人: 浙江大學
• 主分類號: A61F2/70
• 分類號: A61F2/70
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

本發明提供了一種基于視覺智能的多重障礙者的手眼協同方法，包括：通過助盲眼鏡獲取用戶前方圖像畫面進行成像；獲取用戶的指令信息；依據指令信息獲取目標物品信息；對智能義肢以及目標物品信息所對應的物品進行定位；依據定位結果對智能義肢進行控制，使智能義肢向物品進行移動，從而實現了多重障礙者對智能義肢的使用需求。本發明還包括實現上述基于視覺智能的多重障礙者的手眼協同方法的裝置。

技術領域

本發明涉及義肢輔助領域，具體涉及一種基于視覺智能的多重障礙者的手眼協同方法及裝置。

背景技術

目前，國內外的義肢設備都需要借助義肢使用者的視覺來輔助進行義肢手的抓握、旋轉等一系列的動作，從而實現寫字、喝水、吃飯等基本日常活動。對于多重功能障礙者而言，由于視覺功能的喪失或是存在缺陷，加上前臂障礙，佩戴義肢后幾乎無法感知義肢手的空間位置、抓握的觸覺和接觸物體的溫度等信息，也就幾乎無法操控義肢完成相應的動作。

如何解決上述問題，是目前亟待解決的。

發明內容

本發明的目的是提供一種基于視覺智能的多重障礙者的手眼協同方法及裝置。

為了解決上述技術問題，本發明提供了一種基于視覺智能的多重障礙者的手眼協同方法，包括：

S1.通過助盲眼鏡獲取用戶前方圖像畫面進行成像；

S2.獲取用戶的指令信息；

S3.依據指令信息獲取目標物品信息；

S4.對智能義肢以及目標物品信息所對應的物品進行定位；

S5.依據定位結果對智能義肢進行控制，使智能義肢向物品進行移動。

進一步的，步驟S1包括：

S11.通過雙目攝像頭試試采集用戶圖像畫面；

S12.對圖像畫面中的抖動誤差進行消除；

S13.根據前后多幀圖像的三維空間變化計算出物品的邊緣輪廓；

S14.獲取邊緣輪廓的特征向量；

S15.將特征向量與真實向量進行相似度判斷，對物品進行分類；

S16.將分類好的物品在空間中的坐標位置進行定位完成成像。

優選地，步驟S3包括：

S31.篩選出指令信息對應的物品分類；

S32.將對應分類的物品進行標記并向用戶反饋；

S33.接收確認信息并獲取目標物品信息。

優選地，步驟S4包括：

S41.確定智能義肢以及目標物品信息對應的物品在空間中的相對空間位置關系；

S42.依據像素距離計算出目標物品信息對應的物品與智能義肢之間的相對距離；

S43.將空間位置關系以及相對距離發送至移動計算單元。

優選地，步驟S5包括：

S51.計算空間中所有物品的空間位置關系；

S52.以目標物品信息對應的物品為球心，選取無遮擋水平方向角度絕對值最小且垂直用戶視線方向的徑向方向為機械手預設行徑路線；

S53.依據機械手行徑路線控制智能義肢進行移動。

進一步的，S5所述的在依據機械手行徑路線控制智能義肢進行移動的同時，所述依據定位結果對智能義肢進行控制，使智能義肢向物品進行移動的方法還包括：