[發(fā)明專利]一種基于形態(tài)特征和單目測量的機器人自主撿球方法

有效

• 申請?zhí)枺?/td>: 202110205841.6
• 申請日: 2021-02-24
• 公開（公告）號: CN113041578B
• 公開（公告）日: 2022-02-11
• 發(fā)明（設(shè)計）人: 謝非;劉宗熙;吳啟宇;吳奕之;楊繼全;葉欣雨;陳瑾杰;汪鐵錚;李群召
• 申請（專利權(quán)）人: 南京師范大學(xué)
• 主分類號: A63B47/02
• 分類號: A63B47/02;G05D1/02
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 向文

1.一種基于形態(tài)特征和單目測量的機器人自主撿球方法，其特征在于：包括如下步驟：

S1：通過機器人采集存在梯形畸變的羽毛球和球場彩色圖像信息，得到正投影形式下的羽毛球及球場彩色圖像信息；

S2：對得到的羽毛球及球場彩色圖像信息進行數(shù)據(jù)處理，通過設(shè)計一種針對無測距功能的單目攝像頭的目標(biāo)物體位置信息測量方法獲得存在梯形畸變羽毛球和球場彩色圖像與實際位置距離的映射關(guān)系；

S3：利用搭建和訓(xùn)練好的特征提取網(wǎng)絡(luò)尋找得到目標(biāo)羽毛球質(zhì)心的像素點位置，根據(jù)步驟S2獲得的映射關(guān)系得到目標(biāo)羽毛球的位置信息；

S4：根據(jù)目標(biāo)羽毛球的位置信息，獲取目標(biāo)羽毛球和機器人的實際相對位置，完成機器人的運動路徑規(guī)劃；

S5：上位機根據(jù)機器人的運動路徑規(guī)劃結(jié)果，控制機器人運動至目標(biāo)羽毛球位置，并完成機器人對羽毛球的拾取操作；

所述步驟S3具體包括如下過程：

D1：對正投影形式下的羽毛球及球場彩色圖像進行打標(biāo)簽操作，得到打好標(biāo)簽的數(shù)據(jù)集，并記為羽毛球源數(shù)據(jù)集；

D2：搭建適用于羽毛球的多特征卷積神經(jīng)網(wǎng)絡(luò)，并確定網(wǎng)絡(luò)結(jié)構(gòu)，選擇網(wǎng)絡(luò)優(yōu)化器并使用羽毛球源數(shù)據(jù)集與特征數(shù)據(jù)集對多特征卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到訓(xùn)練好的適用于多特征卷積神經(jīng)網(wǎng)絡(luò)模型；

D3：根據(jù)羽毛球及球場彩色圖像與實際位置距離的映射關(guān)系，使用訓(xùn)練好的多特征卷積神經(jīng)網(wǎng)絡(luò)模型對羽毛球及球場彩色圖像進行預(yù)測，得到目標(biāo)羽毛球的位置信息。

2.根據(jù)權(quán)利要求1所述的一種基于形態(tài)特征和單目測量的機器人自主撿球方法，其特征在于：所述步驟S1中機器人通過單目攝像頭采集存在梯形畸變的羽毛球和球場彩色圖像信息。

3.根據(jù)權(quán)利要求1所述的一種基于形態(tài)特征和單目測量的機器人自主撿球方法，其特征在于：所述步驟S2中數(shù)據(jù)處理的具體方法為：

A1：對采集得到的存在梯形畸變的羽毛球及球場彩色圖像信息進行預(yù)處理，得到存在梯形畸變的羽毛球及球場彩色圖像信息中的羽毛球場邊緣信息；

A2：對步驟A1獲取的羽毛球場邊緣信息進行處理，通過透視變換矯正采集得到的存在梯形畸變的羽毛球及球場彩色圖像信息，得到正投影形式下的羽毛球及球場彩色圖像信息和羽毛球及球場的實際位置距離和存在梯形畸變的羽毛球及球場彩色圖像信息的映射關(guān)系。

4.根據(jù)權(quán)利要求3所述的一種基于形態(tài)特征和單目測量的機器人自主撿球方法，其特征在于：所述步驟A1中預(yù)處理的方法為：

B1：對采集得到的存在梯形畸變的羽毛球及球場彩色圖像信息進行灰度變換，得到并保存存在梯形畸變的羽毛球及球場灰度圖像；

B2：使用高斯濾波器對存在梯形畸變的羽毛球及球場灰度圖像進行濾波，消除圖像數(shù)字化時所混入的噪聲，簡化圖像所帶的信息，得到濾波處理后的存在梯形畸變的羽毛球及球場灰度圖像；

B3：用模板掩碼計算濾波處理后的存在梯形畸變的羽毛球及球場灰度圖像的灰度的梯度的幅值和方向，并進行非極大值抑制，得到存在梯形畸變的羽毛球及球場灰度邊緣圖像。

5.根據(jù)權(quán)利要求3所述的一種基于形態(tài)特征和單目測量的機器人自主撿球方法，其特征在于：所述步驟A2的具體方法為：

C1：對存在梯形畸變的羽毛球及球場灰度圖像中的羽毛球場邊緣進行直線檢測，得到存在梯形畸變的羽毛球及球場彩色圖像中的羽毛球場邊緣的角點像素點坐標(biāo)；

C2：根據(jù)存在梯形畸變的羽毛球及球場彩色圖像中的羽毛球場邊緣的角點像素點坐標(biāo)，對存在梯形畸變的羽毛球及球場彩色圖像進行投影變換，得到正投影形式下的羽毛球及球場彩色圖像信息；

C3：根據(jù)正投影形式下的羽毛球及球場彩色圖像信息，通過實驗得到羽毛球及球場的實際位置距離和存在梯形畸變的羽毛球及球場彩色圖像信息的映射關(guān)系。