[發(fā)明專利]基于視覺智能的多重障礙者的手眼協(xié)同方法及裝置

有效

• 申請?zhí)枺?/td>: 202110458607.4
• 申請日: 2021-04-27
• 公開（公告）號: CN113180894B
• 公開（公告）日: 2022-02-11
• 發(fā)明（設(shè)計）人: 卜佳俊;章越清;于智;顧靜軍
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: A61F2/70
• 分類號: A61F2/70
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵

本發(fā)明提供了一種基于視覺智能的多重障礙者的手眼協(xié)同方法，包括：通過助盲眼鏡獲取用戶前方圖像畫面進(jìn)行成像；獲取用戶的指令信息；依據(jù)指令信息獲取目標(biāo)物品信息；對智能義肢以及目標(biāo)物品信息所對應(yīng)的物品進(jìn)行定位；依據(jù)定位結(jié)果對智能義肢進(jìn)行控制，使智能義肢向物品進(jìn)行移動，從而實現(xiàn)了多重障礙者對智能義肢的使用需求。本發(fā)明還包括實現(xiàn)上述基于視覺智能的多重障礙者的手眼協(xié)同方法的裝置。

技術(shù)領(lǐng)域

本發(fā)明涉及義肢輔助領(lǐng)域，具體涉及一種基于視覺智能的多重障礙者的手眼協(xié)同方法及裝置。

背景技術(shù)

目前，國內(nèi)外的義肢設(shè)備都需要借助義肢使用者的視覺來輔助進(jìn)行義肢手的抓握、旋轉(zhuǎn)等一系列的動作，從而實現(xiàn)寫字、喝水、吃飯等基本日常活動。對于多重功能障礙者而言，由于視覺功能的喪失或是存在缺陷，加上前臂障礙，佩戴義肢后幾乎無法感知義肢手的空間位置、抓握的觸覺和接觸物體的溫度等信息，也就幾乎無法操控義肢完成相應(yīng)的動作。

如何解決上述問題，是目前亟待解決的。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于視覺智能的多重障礙者的手眼協(xié)同方法及裝置。

為了解決上述技術(shù)問題，本發(fā)明提供了一種基于視覺智能的多重障礙者的手眼協(xié)同方法，包括：

S1.通過助盲眼鏡獲取用戶前方圖像畫面進(jìn)行成像；

S2.獲取用戶的指令信息；

S3.依據(jù)指令信息獲取目標(biāo)物品信息；

S4.對智能義肢以及目標(biāo)物品信息所對應(yīng)的物品進(jìn)行定位；

S5.依據(jù)定位結(jié)果對智能義肢進(jìn)行控制，使智能義肢向物品進(jìn)行移動。

進(jìn)一步的，步驟S1包括：

S11.通過雙目攝像頭試試采集用戶圖像畫面；

S12.對圖像畫面中的抖動誤差進(jìn)行消除；

S13.根據(jù)前后多幀圖像的三維空間變化計算出物品的邊緣輪廓；

S14.獲取邊緣輪廓的特征向量；

S15.將特征向量與真實向量進(jìn)行相似度判斷，對物品進(jìn)行分類；

S16.將分類好的物品在空間中的坐標(biāo)位置進(jìn)行定位完成成像。

優(yōu)選地，步驟S3包括：

S31.篩選出指令信息對應(yīng)的物品分類；

S32.將對應(yīng)分類的物品進(jìn)行標(biāo)記并向用戶反饋；

S33.接收確認(rèn)信息并獲取目標(biāo)物品信息。

優(yōu)選地，步驟S4包括：

S41.確定智能義肢以及目標(biāo)物品信息對應(yīng)的物品在空間中的相對空間位置關(guān)系；

S42.依據(jù)像素距離計算出目標(biāo)物品信息對應(yīng)的物品與智能義肢之間的相對距離；

S43.將空間位置關(guān)系以及相對距離發(fā)送至移動計算單元。

優(yōu)選地，步驟S5包括：

S51.計算空間中所有物品的空間位置關(guān)系；

S52.以目標(biāo)物品信息對應(yīng)的物品為球心，選取無遮擋水平方向角度絕對值最小且垂直用戶視線方向的徑向方向為機械手預(yù)設(shè)行徑路線；

S53.依據(jù)機械手行徑路線控制智能義肢進(jìn)行移動。

進(jìn)一步的，S5所述的在依據(jù)機械手行徑路線控制智能義肢進(jìn)行移動的同時，所述依據(jù)定位結(jié)果對智能義肢進(jìn)行控制，使智能義肢向物品進(jìn)行移動的方法還包括：