[發(fā)明專利]面向單品類拆垛的視覺識別方法、裝置、設備及介質

有效

• 申請?zhí)枺?/td>: 202010582651.1
• 申請日: 2020-06-23
• 公開（公告）號: CN111815706B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設計）人: 李城旭;高磊
• 申請（專利權）人: 熵智科技（深圳）有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T1/00
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 胡琳萍;張宇

本發(fā)明公開了一種面向單品類拆垛的視覺識別方法、裝置、設備及介質，屬于機器視覺領域，其中，方法的實現包括：對待拆垛對象的原始3D點云進行濾波和下采樣后得到目標點云；對目標點云進行邊界提取，得到邊界點云，其中，邊界點云中僅包括輪廓點；將預設模板點云與邊界點云進行3D匹配，從邊界點云中分割出與預設模板點云匹配的各工件輪廓點云，其中，預設模板點云為與待拆垛對象中的各工件類型一致的輪廓點云；獲取匹配得到的各工件輪廓點云對應的工件位姿，以根據各工件位姿中的高度信息進行拆垛。本發(fā)明通過對濾波后提取邊界的工件點云和模板點云進行3D輪廓匹配，減少大量平面點云的干擾，提高了匹配精度并且加快了計算速度。

技術領域

本發(fā)明屬于機器視覺領域，更具體地，涉及一種面向單品類拆垛的視覺識別方法、裝置、設備及介質。

背景技術

在工業(yè)制造和物流領域，傳統(tǒng)的拆垛系統(tǒng)是基于深度學習圖片識別分割的方式實現的，經濟成本高，且存在一定的識別誤差，難以實現準確抓取，無法適應對后續(xù)處理有精度要求的場景。和拆垛相對應的碼垛場景下，要求高空間利用率，相鄰物品之間間隙小，有的甚至要求緊密貼合，這同樣也要求拆垛具有識別分割小間隙物品的能力。隨著工業(yè)級3D相機的推廣和3D視覺算法的興起，基于3D視覺的拆垛系統(tǒng)有望實現高精度，低成本的要求。

現有的使用深度學習方式的拆垛系統(tǒng)的實現方法如圖1所示，包括以下步驟：1、相機拍照，獲取原始點云和圖片；2、對原始點云進行濾波；3、深度學習將圖片進行處理，根據灰度值差異算出工件的水平位置(x,y)和尺寸；4、根據深度學習的結果結合3D點云進行處理，得到工件的高度信息(z)，同時計算出工件的位姿(x,y,z,r,p)；5、抓取規(guī)劃，對計算得到的多個工件按照特定策略(如高度z)進行排序，選取最優(yōu)的可抓取工件；6、輸出工件位姿，機器人獲取到該位姿，運動到抓取點抓取。

上述方法的主要缺陷在于：在工程實際中，外界環(huán)境光的變化無可預測，除非搭建一個暗室，但會導致成本增加，深度學習對灰度圖的質量要求比較嚴格，圖片質量受外界環(huán)境光的影響很大，圖片質量差，深度學習識別的位置和尺寸可能與實際有較大偏差。

發(fā)明內容

針對現有技術的以上缺陷或改進需求，本發(fā)明提出了一種面向單品類拆垛的視覺識別方法、裝置、設備及介質，由此解決現有拆垛方式由于受外界環(huán)境光的影響，圖片質量差，而導致的深度學習識別的位置和尺寸可能與實際有較大偏差的技術問題。

為實現上述目的，按照本發(fā)明的一個方面，提供了一種面向單品類拆垛的視覺識別方法，包括：

對待拆垛對象的原始3D點云進行濾波和下采樣后得到目標點云；

對所述目標點云進行邊界提取，得到邊界點云，其中，所述邊界點云中僅包括輪廓點；

將預設模板點云與所述邊界點云進行3D匹配，從所述邊界點云中分割出與所述預設模板點云匹配的各工件輪廓點云，其中，所述預設模板點云為與所述待拆垛對象中的各工件類型一致的輪廓點云；

獲取匹配得到的各工件輪廓點云對應的工件位姿，以根據各所述工件位姿中的高度信息進行拆垛。

優(yōu)選地，所述將預設模板點云與所述邊界點云進行3D匹配，從所述邊界點云中分割出與所述預設模板點云匹配的各工件輪廓點云，包括：

提取所述邊界點云中各點的FPFH特征，根據所述邊界點云中各點的FPFH特征與所述預設模板點云中各點的FPFH特征之間的特征距離確定第一匹配點對，根據各所述第一匹配點對確定與所述預設模板點云初步匹配的各工件輪廓點云；

根據初步匹配得到的各工件輪廓點云與所述預設模板點云的匹配點對之間的FPFH特征距離確定第二匹配點對，根據各所述第二匹配點對確定與所述預設模板點云最終匹配的各工件輪廓點云。