[發明專利]一種基于矩形擬合的抓取數據集自動生成方法

有效

• 申請號: 202110307109.X
• 申請日: 2021-03-23
• 公開（公告）號: CN112926503B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 李育文;張智輝
• 申請（專利權）人: 上海大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26;G06V10/762
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

1.一種基于矩形擬合的抓取數據集自動生成方法，其特征在于，包括如下步驟：

步驟一，物體圖像采集：

通過機械臂與相機相結合的方式，完成物體多角度圖像信息的采集；

步驟二，確定物體區域，生成物體掩碼：

根據數據收集系統中各部件之間的位置關系，初步確定物體所在圖像中的大致位置，去除大部分背景噪聲；利用背景相減法從背景中分割出物體區域，獲得物體掩碼；

所述步驟二中，利用相機和機械臂之間的關系，通過運動學正解計算機械臂坐標系下兩指尖連線的中點位置(X,Y,Z)在圖像中的坐標(u,v)，以此確定物體在圖像中的位置：

其中，表示機械臂坐標系相對于相機坐標系的關系，f_x,f_y,c_x,c_y為相機內參；

步驟三，檢測目標物體輪廓信息：

利用canny算子檢測物體邊緣，將物體輪廓通過大量短線條表示；

步驟四，霍夫變換檢測直線：

對物體輪廓曲線進行霍夫變換，檢測物體輪廓中直線，并對其中滿足合并條件的線段進行整合，減少線條數量；

步驟五，利用多個矩形擬合輪廓：

根據直線長度對直線進行排序，按直線長度排序依次檢測對應平行線；用于擬合物體輪廓的矩形需要同時滿足四個條件：

①、兩條線段夾角小于20°；

②、平行線之間距離大于閾值th₁＝50；

③、平行線之間像素個數不為零；

④、較短線段在較長線段上存在投影；

將同時滿足以上①-④條件的平行線進行相互投影，生成多個矩形用于擬合物體輪廓；

步驟六，生成抓取矩形：

根據手指寬度w，在擬合矩形上按等間距采樣的方式生成多個適用于雙指手爪的抓取矩形；

步驟七，合成抓取數據集圖像，制作抓取數據集：

利用在步驟二中生成的物體掩碼，將物體的彩色圖像和預設多種背景進行組合，生成多種抓取數據集圖像，同時根據物體在圖像中的位置和在步驟六中生成的抓取矩形，為數據集中的所有樣本制作標簽文件。

2.根據權利要求1所述基于矩形擬合的抓取數據集自動生成方法，其特征在于：在所述步驟一中，利用固定的Kinect相機作為數據采集設備，通過機械臂末端手爪夾持物體改變物體姿態，采集多種角度下物體的圖像信息。

3.根據權利要求1所述基于矩形擬合的抓取數據集自動生成方法，其特征在于：在所述步驟五中，利用構成矩形的四個條件，檢測任意兩條平行線是否可以用于合成擬合矩形，通過相互投影的方式由兩條平行線建立擬合矩形。

4.根據權利要求1所述基于矩形擬合的抓取數據集自動生成方法，其特征在于：在所述步驟六中，以手指寬度的投影w作為抓取矩形的寬，以6/5倍的擬合矩形的H作為抓取矩形的高h，并沿擬合矩形H邊以間隔為0.5w進行采樣構建抓取矩形。

5.根據權利要求1所述基于矩形擬合的抓取數據集自動生成方法，其特征在于：在所述步驟七中，將物體圖像與背景圖像合并構成抓取數據集圖像，并根據物體圖像在背景中的位置生成抓取參數。