[發(fā)明專利]基于視覺智能的多重障礙者的手眼協(xié)同方法及裝置

有效

• 申請?zhí)枺?/td>: 202110458607.4
• 申請日: 2021-04-27
• 公開（公告）號: CN113180894B
• 公開（公告）日: 2022-02-11
• 發(fā)明（設(shè)計）人: 卜佳俊;章越清;于智;顧靜軍
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: A61F2/70
• 分類號: A61F2/70
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵

1.一種基于視覺智能的多重障礙者的手眼協(xié)同方法，其特征在于，包括：

S1.通過助盲眼鏡獲取用戶前方圖像畫面進(jìn)行成像；

S2.獲取用戶的指令信息；

S3.依據(jù)指令信息獲取目標(biāo)物品信息；

S4.對智能義肢以及目標(biāo)物品信息所對應(yīng)的物品進(jìn)行定位；

S5.依據(jù)定位結(jié)果對智能義肢進(jìn)行控制，使智能義肢向物品進(jìn)行移動；

步驟S1具體包括：

S11.通過雙目攝像頭實時 采集用戶圖像畫面；

S12.對圖像畫面中的抖動誤差進(jìn)行消除；

S13.根據(jù)前后多幀圖像的三維空間變化計算出物品的邊緣輪廓；

S14.獲取邊緣輪廓的特征向量；

S15.將特征向量與真實向量進(jìn)行相似度判斷，對物品進(jìn)行分類；

S16.將分類好的物品在空間中的坐標(biāo)位置進(jìn)行定位完成成像；

步驟S4具體包括：

S41.確定智能義肢以及目標(biāo)物品信息對應(yīng)的物品在空間中的相對空間位置關(guān)系；

S42.依據(jù)像素距離計算出目標(biāo)物品信息對應(yīng)的物品與智能義肢之間的相對距離；

S43.將空間位置關(guān)系以及相對距離發(fā)送至移動計算單元；

步驟S5具體包括：

S51.計算空間中所有物品的空間位置關(guān)系；

S52.以目標(biāo)物品信息對應(yīng)的物品為球心，選取無遮擋水平方向角度絕對值最小且垂直用戶視線方向的徑向方向為機(jī)械手預(yù)設(shè)行徑路線；

S53.依據(jù)機(jī)械手行徑路線控制智能義肢進(jìn)行移動；

其中，機(jī)械手預(yù)設(shè)行徑路線劃分為先移動X軸達(dá)到徑向方向的垂線上，后Z軸運動到徑向方向上，最后Y軸運動直到智能義肢拿取到目標(biāo)物品。

2.如權(quán)利要求1所述的基于視覺智能的多重障礙者的手眼協(xié)同方法，其特征在于，步驟S3具體包括：

S31.篩選出指令信息對應(yīng)的物品分類；

S32.將對應(yīng)分類的物品進(jìn)行標(biāo)記并向用戶反饋；

S33.接收確認(rèn)信息并獲取目標(biāo)物品信息。

3.如權(quán)利要求1所述的基于視覺智能的多重障礙者的手眼協(xié)同方法，其特征在于，在依據(jù)機(jī)械手行徑路線控制智能義肢進(jìn)行移動的同時，所述依據(jù)定位結(jié)果對智能義肢進(jìn)行控制，使智能義肢向物品進(jìn)行移動的方法還包括：

S54.依據(jù)智能義肢當(dāng)前行經(jīng)路線與機(jī)械手預(yù)設(shè)行徑路線計算偏離系數(shù)；

S55.若偏離系數(shù)大于預(yù)設(shè)值時，發(fā)出第一提示信息。

4.如權(quán)利要求3所述的基于視覺智能的多重障礙者的手眼協(xié)同方法，其特征在于，在依據(jù)機(jī)械手行徑路線控制智能義肢進(jìn)行移動的同時，所述依據(jù)定位結(jié)果對智能義肢進(jìn)行控制，使智能義肢向物品進(jìn)行移動的方法還包括：

S56.檢測目標(biāo)物品信息所對應(yīng)的物品的傾斜角以及旋轉(zhuǎn)角；

S57.若傾斜角大于預(yù)設(shè)值和/或旋轉(zhuǎn)角大于預(yù)設(shè)值時，發(fā)出第二提示信息。

5.一種基于視覺智能的多重障礙者的手眼協(xié)同裝置，其特征在于，包括：

畫面獲取模塊，適于通過助盲眼鏡獲取用戶前方圖像畫面進(jìn)行成像；

指令獲取模塊，適于獲取用戶的指令信息；

計算模塊，適于依據(jù)指令信息獲取目標(biāo)物品信息；

定位模塊，適于對智能義肢以及目標(biāo)物品信息所對應(yīng)的物品進(jìn)行定位；

移動模塊，適于依據(jù)定位結(jié)果對智能義肢進(jìn)行控制，使智能義肢向物品進(jìn)行移動，包括計算空間中所有物品的空間位置關(guān)系；以目標(biāo)物品信息對應(yīng)的物品為球心，選取無遮擋水平方向角度絕對值最小且垂直用戶視線方向的徑向方向為機(jī)械手預(yù)設(shè)行徑路線，依據(jù)機(jī)械手行徑路線控制智能義肢進(jìn)行移動。

6.一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)中存儲有一個或一個以上的指令，其特征在于，所述一個或一個以上的指令內(nèi)的權(quán)限管理裝置的處理器執(zhí)行時實現(xiàn)權(quán)利要求1至4中任一所述的基于視覺智能的多重障礙者的手眼協(xié)同方法。

7.一種電子設(shè)備，其特征在于，包括存儲器和處理器；所述存儲器中存儲有至少一條程序指令；所述處理器，通過加載并執(zhí)行所述至少一條程序指令以實現(xiàn)權(quán)利要求1-4中任一項所述的基于視覺智能的多重障礙者的手眼協(xié)同方法。