[發明專利]基于視覺的目標對象識別與定位方法、終端以及存儲介質

在審

• 申請號: 201810869233.3
• 申請日: 2018-08-02
• 公開（公告）號: CN109101967A
• 公開（公告）日: 2018-12-28
• 發明（設計）人: 葉壯;孫波;李民;張曉雪;張霄峰
• 申請（專利權）人: 蘇州中德睿博智能科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/46;G06K9/62
• 代理公司: 無錫松禾知識產權代理事務所(普通合伙) 32316
• 代理人: 花修洋

本發明公開了一種基于視覺的目標對象識別與定位方法、終端以及存儲介質，包括：獲取深度相機當前幀的場景圖像數據與場景點云數據；針對場景圖像數據進行圖像識別，識別出其中的目標對象；將目標對象對應的目標點云數據從場景點云數據中區分出來；針對目標點云數據包含的點進行平面分割，提取出當前幀中目標對象包含的平面；在提取出的平面中篩選出目標面；基于目標面計算目標對象的位姿。本發明的技術方案采用了先圖像識別，再對點云進行分析處理，最終通過計算具有特征的目標面的位姿求取整個目標對象的位姿的方式，對構造復雜的目標對象進行了準確的識別與定位，避免了復雜的計算，方法計算量小，運算效率高，實用性強。

技術領域

本發明涉及視覺技術領域，特別是涉及一種基于視覺的目標對象識別與定位方法、終端以及存儲介質。

背景技術

隨著人工智能的提出與快速發展，機器視覺作為圖像技術的一個重要分支已經在很多領域得到了利用，機器視覺技術力求在減少人為干預的情況下由機器實時、自動分析圖像，從中識別所需的信息，并做到實時監控、及時反饋。

在工業領域，經常需要針對同一種目標對象進行自動搬運、自動上下料等，由于每個目標對象擺放位姿的隨機性，傳統的自動搬運或上下料裝置必須由人工輔助才能準確對目標對象進行搬運，不然，有可能存在吃不準搬運部位導致搬運不穩等危險情況發生，這種情形下(當然，不限于這種情形，在生產生活中類似的需要對目標對象識別與定位的案例有很多)，需要借助機器視覺使搬運設備智能化。目前，在機器視覺領域，一般只能對形狀較為簡單的目標對象進行識別與定位，如圓筒、箱體等，對于形狀復雜的目標對象還難以做到準確識別與定位。

發明內容

發明目的：為了克服現有技術中存在的不足，本發明提供一種基于視覺的目標對象識別與定位方法、終端以及存儲介質，旨在解決當前技術中對于形狀復雜的目標對象難以準確識別與定位的問題。

技術方案：為實現上述目的，本發明的基于視覺的目標對象識別與定位方法，包括：

獲取深度相機當前幀的場景圖像數據與場景點云數據；

針對所述場景圖像數據進行圖像識別，識別出其中的目標對象；

將目標對象對應的目標點云數據從所述場景點云數據中區分出來；

針對所述目標點云數據包含的點進行平面分割，提取出當前幀中目標對象包含的平面；

在提取出的平面中篩選出目標面；

基于所述目標面的位姿計算目標對象的位姿。

可選地，所述針對所述場景圖像數據進行圖像識別具體包括：

采用基于神經網絡的目標檢測系統對所述場景圖像數據進行識別。

可選地，所述針對所述目標點云數據進行平面分割具體包括：

以所述目標點云數據內的每個點為基準分別以設定搜索半徑確定搜索范圍；

以搜索范圍內的點構成的面為參照求出作為基準的點的法向量；

根據目標點云數據內所有點的法向量對目標點云數據內的點進行聚類。

可選地，所述在提取出的平面中篩選出目標面具體包括：

求取每個提取出的平面的面積；

將每個提取出的平面的面積與目標面的實測面積對比，篩選出與所述實測面積相同或相近的平面，該面即為目標面。

可選地，所述采用基于神經網絡的目標檢測系統對所述場景圖像數據進行識別之前還包括：

建立目標對象的參照模型。

可選地，所述建立目標對象的參照模型具體包括：