[發(fā)明專利]一種基于視覺的機(jī)器人智能理鞋系統(tǒng)設(shè)計與實(shí)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 202110927442.0
• 申請日: 2021-08-10
• 公開（公告）號: CN113723475B
• 公開（公告）日: 2023-07-28
• 發(fā)明（設(shè)計）人: 張壇;張政
• 申請（專利權(quán)）人: 深圳技術(shù)大學(xué)
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/24;G06V10/82;G06N3/0464;G06N3/08;B25J11/00
• 代理公司: 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 謝松

本發(fā)明公開了一種基于視覺的機(jī)器人智能理鞋系統(tǒng)設(shè)計與實(shí)現(xiàn)方法，包括步驟：獲取目標(biāo)圖像；所述目標(biāo)圖像中的目標(biāo)包括鞋子和鞋架；根據(jù)所述目標(biāo)圖像，確定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的圖像；根據(jù)所有所述鞋子的圖像，確定配對的鞋子；根據(jù)所述配對的鞋子中各鞋子的位姿和所述鞋架的位姿，將所述配對的鞋子放入所述鞋架。本申請通過確定目標(biāo)圖像中配對的鞋子，并根據(jù)目標(biāo)圖像確定鞋子的位姿和鞋架的位姿，將配對的鞋子放入鞋架，解決了鞋子亂擺放的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及理鞋技術(shù)領(lǐng)域，尤其涉及的是一種基于視覺的機(jī)器人智能理鞋系統(tǒng)設(shè)計與實(shí)現(xiàn)方法。

背景技術(shù)

隨著當(dāng)下人民生活水平的日益提升，人們對家居環(huán)境的品質(zhì)要求也隨之水漲船高。家居環(huán)境所能給人們帶來的便捷與舒適成為生活中必不可少的要素，但是有些問題卻仍然沒有得到解決，其中之一就是鞋子臟、亂的問題。現(xiàn)有技術(shù)中，普通鞋柜里的鞋子常常隨意擺放，甚至隨意堆放至門口，臟亂問題明顯。

因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的上述缺陷，提供一種基于視覺的機(jī)器人智能理鞋系統(tǒng)設(shè)計與實(shí)現(xiàn)方法，旨在解決現(xiàn)有技術(shù)中鞋子亂擺放的問題。

本發(fā)明解決技術(shù)問題所采用的技術(shù)方案如下：

一種基于視覺的機(jī)器人智能理鞋系統(tǒng)設(shè)計與實(shí)現(xiàn)方法，其中，包括步驟：

獲取目標(biāo)圖像；所述目標(biāo)圖像中的目標(biāo)包括鞋子和鞋架；

根據(jù)所述目標(biāo)圖像，確定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的圖像；

根據(jù)所有所述鞋子的圖像，確定配對的鞋子；

根據(jù)所述配對的鞋子中各鞋子的位姿和所述鞋架的位姿，將所述配對的鞋子放入所述鞋架。

所述的基于視覺的機(jī)器人智能理鞋系統(tǒng)設(shè)計與實(shí)現(xiàn)方法，其中，所述根據(jù)所述目標(biāo)圖像，確定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的圖像，包括：

將所述目標(biāo)圖像輸入訓(xùn)練好的識別網(wǎng)絡(luò)，通過所述訓(xùn)練好的識別網(wǎng)絡(luò)得到所述目標(biāo)圖像中所述目標(biāo)的類別和所述目標(biāo)的掩碼；其中，所述目標(biāo)的類別包括鞋子和鞋架，所述目標(biāo)的掩碼包括：鞋子的掩碼和鞋架的掩碼；

針對每只鞋子，根據(jù)所述目標(biāo)圖像以及該鞋子的掩碼，確定該鞋子的位姿；

根據(jù)目標(biāo)圖像以及所述鞋架的掩碼，確定所述鞋架的位姿；

針對每只鞋子，根據(jù)該鞋子的掩碼對所述目標(biāo)圖像進(jìn)行裁剪，得到該鞋子的圖像。

所述的基于視覺的機(jī)器人智能理鞋系統(tǒng)設(shè)計與實(shí)現(xiàn)方法，其中，所述目標(biāo)圖像為深度圖像；所述鞋子的掩碼包括本體掩碼和開口掩碼；所述鞋子的位姿包括鞋子的位置信息和鞋子的方向信息；所述針對每只鞋子，根據(jù)所述目標(biāo)圖像以及該鞋子的邊框，確定該鞋子的位姿，包括：

根據(jù)所述本體掩碼，確定所述本體掩碼對應(yīng)的本體邊框和本體中心點(diǎn)；其中，所述本體邊框?yàn)樾拥淖钚⊥饨泳匦慰颍?/p>

針對每只鞋子，根據(jù)所述目標(biāo)圖像和該鞋子的本體中心點(diǎn)，確定該鞋子的位置信息；

根據(jù)所述開口掩碼，確定所述開口掩碼對應(yīng)的開口中心點(diǎn)；

針對每個本體邊框，根據(jù)該本體邊框和所有開口中心點(diǎn)，確定該本體邊框?qū)?yīng)的開口中心點(diǎn)；

針對每只鞋子，根據(jù)該鞋子的本體邊框的中心點(diǎn)和該鞋子的本體邊框?qū)?yīng)的開口中心點(diǎn)，確定該鞋子的方向信息。

所述的基于視覺的機(jī)器人智能理鞋系統(tǒng)設(shè)計與實(shí)現(xiàn)方法，其中，所述針對每只鞋子，根據(jù)該鞋子的掩碼對所述目標(biāo)圖像進(jìn)行裁剪，得到該鞋子的圖像，包括：