[發(fā)明專利]一種基于圖像處理的助餐機器人及其取餐方法

有效

• 申請?zhí)枺?/td>: 202110318423.8
• 申請日: 2021-03-25
• 公開（公告）號: CN113146650B
• 公開（公告）日: 2023-03-17
• 發(fā)明（設(shè)計）人: 王嵐;岳一鵬;張立勛;李琰;林凌杰;師凱奇;孫嘉澤;黃文韜
• 申請（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號: B25J11/00
• 分類號: B25J11/00;G05D1/02;A47G23/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于機器人技術(shù)領(lǐng)域，具體涉及一種基于圖像處理的助餐機器人及其取餐方法。本發(fā)明依靠一種基于圖像處理方法來識別餐盤和食物的圖像，對餐盤及食物的俯視圖進(jìn)行邊緣檢測，來判斷食物的狀態(tài)，同時對取餐區(qū)域三維圖像進(jìn)行模糊處理形成三維形貌曲面圖，來判斷食物的體積分布；根據(jù)餐盤中食物的狀態(tài)和體積分布不同，控制勺筷一體化機械爪的兩種工作模式。本發(fā)明可以控制勺筷一體化機械爪在不同取食方式下的取食位置與姿態(tài)，同時具有調(diào)整餐盤中食物的位置角度的功能，以此來提高凈餐率。

技術(shù)領(lǐng)域

本發(fā)明屬于機器人技術(shù)領(lǐng)域，具體涉及一種基于圖像處理的助餐機器人及其取餐方法。

背景技術(shù)

進(jìn)食是人類得基本需求，這件對于正常人來說每天都在重復(fù)得事情對于大多數(shù)上肢有殘疾的人來說卻很費力也很麻煩。目前國內(nèi)，殘疾人的人數(shù)正在增加。由于社會老齡化的背景，這種增長在未來很長一段時間內(nèi)還會繼續(xù)。殘疾人正日常生活中有許多困難。特別是對于上肢殘疾的人來說自主進(jìn)食可能是一種奢望，他們只能依靠其他人對他們喂食，因此設(shè)計一種助餐機器人，用于幫助殘疾人或肌肉萎縮癥等無法完成自主進(jìn)食這個動作的人們是十分必要的。

隨著在英國研制出Handy1服務(wù)機器人機器人，該服務(wù)機器人功能中即包含喂食這一功能，之后一些發(fā)達(dá)國家紛紛開始研究助餐機器人，其中比較有名為日本的MySpoon的六自由度助餐機器人還有美國的OBI助餐機器人。

早期助餐機器人通常無法識別出餐盤中不同區(qū)域，而是通過患者的選取，由末端為勺子的機械臂夾取食物送到患者口中。助餐機器人的基本結(jié)構(gòu)大致包含兩個模塊，可轉(zhuǎn)動的餐盤和可移動的機械臂。助餐機器人具有識別盤中食物和將食物移送到被喂食者嘴中兩個基本功能。本助餐機器人主要用于以下患者：肌萎縮性側(cè)索硬化癥(ALS)、先天性多發(fā)關(guān)節(jié)炎(AMC)、截肢、腦癱、脊髓受傷、帕金森及其他上肢控制受限等患者。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于圖像處理的助餐機器人。

本發(fā)明的目的通過如下技術(shù)方案來實現(xiàn)：包括主體平臺、餐盤、機械臂、勺筷一體化機械爪、攝像系統(tǒng)和控制系統(tǒng)；所述的餐盤為圓形，餐盤頂面等分為多個扇形取餐區(qū)域，在扇形取餐區(qū)域的圓弧邊緣處安裝有帶斜度的擋板；所述的餐盤通過轉(zhuǎn)動機構(gòu)安裝在主體平臺上；所述的機械臂包括基座、機械臂大臂和機械臂小臂；所述的基座安裝在主體平臺上；所述的機械臂大臂的末端通過轉(zhuǎn)動副與基座連接；所述的機械臂小臂的末端通過轉(zhuǎn)動副與機械臂大臂的前端連接；所述的勺筷一體化機械爪包括機械手腕、重力傳感器和兩個勺柄；所述的機械手腕通過轉(zhuǎn)動副安裝在機械臂小臂的前端；所述的兩個勺柄分別通過一個轉(zhuǎn)動副安裝在機械手腕上，在兩個勺柄前端均安裝有瓣狀餐勺，兩個瓣狀餐勺可拼接在一起形成完整餐勺。

本發(fā)明的目的還在于提供一種一種基于圖像處理的助餐機器人的取餐方法。

本發(fā)明的目的通過如下技術(shù)方案來實現(xiàn)：包括以下步驟：

步驟1：攝像系統(tǒng)獲取餐盤中食物的三維圖像，通過模糊處理將三維圖像中多余的噪聲信息過濾掉，形成三維形貌曲面圖，得到餐盤中食物的分布和體積；根據(jù)餐盤中食物的分布和體積，將由擋板和扇形取餐區(qū)域形成的容積空間設(shè)定為高閾值，將勺筷一體化機械爪的餐勺的平均高度和扇形取餐區(qū)域形成的容積空間設(shè)定為低閾值；

步驟2：根據(jù)三維形貌曲面圖，當(dāng)餐盤中食物沒有超過低閾值的部分時，判斷剩余食物不足此次取餐量，控制系統(tǒng)控制餐盤和勺筷一體化機械爪協(xié)作工作，將餐盤中食物歸攏到一個扇形取餐區(qū)域內(nèi)；

步驟3：攝像系統(tǒng)獲取餐盤中食物的俯視圖，應(yīng)用Canny算子對餐盤中食物進(jìn)行邊緣檢測；若檢測出食物圖像為圓滑規(guī)整邊緣或無明顯形狀，則判定為膠質(zhì)食物，執(zhí)行步驟4；若檢測出食物圖像為交錯或零散的邊緣形狀，則判定為固態(tài)食物，執(zhí)行步驟5；