[發(fā)明專利]一種腦控機(jī)械臂助餐系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010401963.8
• 申請(qǐng)日: 2020-05-13
• 公開(kāi)（公告）號(hào): CN111571587B
• 公開(kāi)（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: 黃麗亞;陳祚;劉宇杰;李佳靈
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;B25J11/00
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

1.一種腦控機(jī)械臂助餐系統(tǒng)，其特征在于，該系統(tǒng)包括：

視覺(jué)刺激子系統(tǒng)，包括顯示屏，用于產(chǎn)生對(duì)應(yīng)機(jī)械臂自由度的刺激源；

腦電采集子系統(tǒng)，用于采集用戶受到所述刺激源刺激后產(chǎn)生的SSVEP信號(hào)，經(jīng)信號(hào)處理后作為機(jī)械臂控制的源數(shù)據(jù)；

雙目攝像頭定位子系統(tǒng)，包括安裝在機(jī)械臂前端的雙目攝像頭，用于自動(dòng)拍攝RGB圖像，并通過(guò)聚類算法和D-H法計(jì)算目標(biāo)物體點(diǎn)相對(duì)于機(jī)械臂的坐標(biāo)信息；

機(jī)械臂控制子系統(tǒng)，包括機(jī)械臂，所述機(jī)械臂前端安裝有雙目攝像頭和餐具，用于接收所述源數(shù)據(jù)并進(jìn)行實(shí)時(shí)濾波，對(duì)所需波段信號(hào)進(jìn)行采樣，通過(guò)基于小波變換的典型相關(guān)分析法，甄別視覺(jué)誘發(fā)刺激頻率，根據(jù)所述刺激頻率確定用戶腦控選擇的刺激源，控制機(jī)械臂到目標(biāo)物體點(diǎn)的大致位置；獲取雙目攝像頭定位子系統(tǒng)生成的目標(biāo)物體相對(duì)于機(jī)械臂的坐標(biāo)信息，控制機(jī)械臂到達(dá)目標(biāo)物體的精確位置，自動(dòng)使用餐具獲取餐盤中的食物；

所述雙目攝像頭定位子系統(tǒng)包括：

調(diào)參單元，用于對(duì)雙目攝像頭進(jìn)行外參校正，使得左右視圖的成像原點(diǎn)坐標(biāo)一致，在水平上嚴(yán)格對(duì)齊；

雙目攝像頭，設(shè)置在機(jī)械臂前端，用于在每次機(jī)械臂移動(dòng)時(shí)，拍攝進(jìn)入視角的目標(biāo)物體RGB圖像，并進(jìn)行圖像極線校正，將校正后的RGB圖像信號(hào)傳給圖像處理單元；

圖像處理單元，用于獲取極線校正后的RGB圖像信號(hào)，通過(guò)SGBM算法將RGB圖像轉(zhuǎn)化為視差圖，在進(jìn)行空洞填充后轉(zhuǎn)換為深度圖，計(jì)算所述深度圖中目標(biāo)物體的深度均值D_e，當(dāng)D_e小于深度閾值時(shí)，提示進(jìn)入精確定位階段；

語(yǔ)音提示單元，用于在所述圖像處理單元判斷D_e小于深度閾值時(shí)，發(fā)出提示音；

計(jì)算單元，用于在進(jìn)入精確定位階段后，生成以所述深度圖中目標(biāo)物體各點(diǎn)的深度值為像素值的像素圖像，通過(guò)DBSCAN聚類算法，除去輪廓中多余的雜散特征點(diǎn)，對(duì)所述像素圖像進(jìn)行描邊，生成具有包絡(luò)線的聚點(diǎn)模型；根據(jù)D-H法計(jì)算機(jī)械臂末端執(zhí)行器相對(duì)于極坐標(biāo)系位姿，將這組信息轉(zhuǎn)換為目標(biāo)物體的球體模型相對(duì)于機(jī)械臂底座的坐標(biāo)信息，解算機(jī)械臂關(guān)節(jié)到達(dá)目標(biāo)點(diǎn)位時(shí)每個(gè)舵機(jī)的轉(zhuǎn)動(dòng)角度。

2.根據(jù)權(quán)利要求1所述的腦控機(jī)械臂助餐系統(tǒng)，其特征在于：所述刺激源的頻段為6.7-30Hz。

3.根據(jù)權(quán)利要求1或2所述的腦控機(jī)械臂助餐系統(tǒng)，其特征在于：所述刺激源的翻轉(zhuǎn)頻率的間隔大于0.5Hz。

4.根據(jù)權(quán)利要求1所述的腦控機(jī)械臂助餐系統(tǒng)，其特征在于：所述視覺(jué)刺激子系統(tǒng)采用牛頓環(huán)收縮-擴(kuò)張運(yùn)動(dòng)刺激范式。

5.根據(jù)權(quán)利要求1所述的腦控機(jī)械臂助餐系統(tǒng)，其特征在于：所述腦電采集子系統(tǒng)包含多通道干電極采集器，用于實(shí)時(shí)記錄用戶大腦后枕葉O1、O2、Oz三個(gè)點(diǎn)的SSVEP信號(hào)。

6.根據(jù)權(quán)利要求1所述的腦控機(jī)械臂助餐系統(tǒng)，其特征在于：所述腦電采集子系統(tǒng)還包含藍(lán)牙模塊，用于將生成的源數(shù)據(jù)傳輸給所述機(jī)械臂控制子系統(tǒng)。

7.根據(jù)權(quán)利要求1所述的腦控機(jī)械臂助餐系統(tǒng)，其特征在于，所述機(jī)械臂控制子系統(tǒng)包括：

預(yù)處理單元，用于對(duì)獲取的所述源數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理包括濾波、去噪；

信號(hào)提取單元，用于對(duì)預(yù)處理單元預(yù)處理后的源數(shù)據(jù)進(jìn)行多層小波分解，根據(jù)信號(hào)的特性與分析要求，匹配最佳的對(duì)應(yīng)頻帶和信號(hào)頻譜，重構(gòu)出SSVEP處于刺激源的頻段的信號(hào)，將其與參考信號(hào)做典型相關(guān)分析法，得到用戶選擇的刺激源，獲取所選刺激源對(duì)應(yīng)的機(jī)械臂自由度序號(hào)和腦控方向；

控制單元，用于獲取所述機(jī)械臂自由度序號(hào)和腦控方向，控制對(duì)應(yīng)自由度序號(hào)的舵機(jī)向所述腦控方向移動(dòng)直至目標(biāo)物體點(diǎn)的大致位置；獲取雙目攝像頭定位子系統(tǒng)生成的目標(biāo)物體的球體模型相對(duì)于機(jī)械臂底座的坐標(biāo)信息、每個(gè)舵機(jī)的轉(zhuǎn)動(dòng)角度，根據(jù)聚點(diǎn)模型計(jì)算目標(biāo)物體的中心點(diǎn)坐標(biāo)，根據(jù)所述目標(biāo)物體的中心點(diǎn)坐標(biāo)是否處于鏡頭中心來(lái)驅(qū)動(dòng)舵機(jī)微調(diào)，直至目標(biāo)物體的中心點(diǎn)落在鏡頭的中心，且包絡(luò)線充滿鏡頭，表示精確定位完成，機(jī)械臂自動(dòng)使用餐具獲取餐盤中的食物。

8.一種腦控機(jī)械臂助餐方法，其特征在于，該方法包括：

(1)視覺(jué)刺激子系統(tǒng)按照機(jī)械臂自由度序號(hào)產(chǎn)生不同頻率的刺激源，由顯示屏進(jìn)行顯示；

(2)腦電信號(hào)采集用戶受到所述刺激源刺激后產(chǎn)生的SSVEP信號(hào)，經(jīng)過(guò)信號(hào)放大、A/D轉(zhuǎn)換后作為源數(shù)據(jù)傳輸給機(jī)械臂控制子系統(tǒng)；

(3)機(jī)械臂控制子系統(tǒng)對(duì)所述源數(shù)據(jù)依次進(jìn)行濾波、去噪、多層小波分解，重構(gòu)出處于刺激源頻段的信號(hào)，將其與參考信號(hào)做典型相關(guān)分析法，得到用戶選擇的刺激源，控制機(jī)械臂到目標(biāo)物體點(diǎn)的大致位置；

(4)雙目攝像頭定位子系統(tǒng)自動(dòng)拍攝RGB圖像，并通過(guò)聚類算法和D-H法計(jì)算目標(biāo)物體點(diǎn)相對(duì)于機(jī)械臂的坐標(biāo)信息，將坐標(biāo)信息發(fā)送給機(jī)械臂控制子系統(tǒng)；

(5)機(jī)械臂控制子系統(tǒng)根據(jù)收到的坐標(biāo)信息控制機(jī)械臂到達(dá)目標(biāo)物體的精確位置，自動(dòng)使用餐具獲取餐盤中的食物；

其中，所述步驟(4)包括：

(41)所述雙目攝像頭定位子系統(tǒng)的調(diào)參單元對(duì)雙目攝像頭進(jìn)行外參校正，使得左右視圖的成像原點(diǎn)坐標(biāo)一致，在水平上嚴(yán)格對(duì)齊；

(42)所述雙目攝像頭在每次機(jī)械臂移動(dòng)時(shí)，拍攝進(jìn)入視角的目標(biāo)物體RGB圖像，并進(jìn)行圖像極線校正，將校正后的RGB圖像信號(hào)傳給所述雙目攝像頭定位子系統(tǒng)的圖像處理單元；

(43)所述雙目攝像頭定位子系統(tǒng)的圖像處理單元通過(guò)SGBM算法將校正后的RGB圖像轉(zhuǎn)化為視差圖，在進(jìn)行空洞填充后轉(zhuǎn)換為深度圖，計(jì)算所述深度圖中目標(biāo)物體的深度均值D_e，當(dāng)D_e小于深度閾值時(shí)，語(yǔ)音提示單元發(fā)出提示音，表示進(jìn)入精確定位階段；

(44)所述雙目攝像頭定位子系統(tǒng)的計(jì)算單元生成以所述深度圖中目標(biāo)物體各點(diǎn)的深度值為像素值的像素圖像，通過(guò)DBSCAN聚類算法，除去輪廓中多余的雜散特征點(diǎn)，對(duì)所述像素圖像進(jìn)行描邊，生成具有包絡(luò)線的聚點(diǎn)模型；根據(jù)D-H法計(jì)算機(jī)械臂末端執(zhí)行器相對(duì)于極坐標(biāo)系位姿，將這組信息轉(zhuǎn)換為目標(biāo)物體的球體模型相對(duì)于機(jī)械臂底座的坐標(biāo)信息，解算機(jī)械臂關(guān)節(jié)到達(dá)目標(biāo)點(diǎn)位時(shí)每個(gè)舵機(jī)的轉(zhuǎn)動(dòng)角度，將所述坐標(biāo)信息和轉(zhuǎn)動(dòng)角度發(fā)送給機(jī)械臂控制子系統(tǒng)。