[發明專利]緊固件松動識別方法、系統、終端及存儲介質

在審

• 申請號: 202011227065.1
• 申請日: 2020-11-06
• 公開（公告）號: CN112365461A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 趙勇;林昌偉;楊寧華;龔月;馮子勇;周瑞
• 申請（專利權）人: 北京格靈深瞳信息技術有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/70;G06N3/04
• 代理公司: 北京新知遠方知識產權代理事務所(普通合伙) 11397
• 代理人: 馬軍芳;張艷

1.一種緊固件松動識別方法，其特征在于，包括：

對獲取的緊固件檢測框進行擴邊及分割，得到緊固件的標記線的掩板；

根據所述緊固件的標記線的掩板在深度圖上提取出對應的深度值并根據相機內參得到對應的點云數據；

在點云數據中存在不連通且主方向不同時，確定所述緊固件松動。

2.根據權利要求1所述的方法，其特征在于，所述對獲取的緊固件檢測框進行擴邊及分割，得到緊固件的標記線的掩板，包括：

對獲取的緊固件檢測框進行擴邊，根據預設的區域進行剪裁；

將剪裁后的區域輸入基于深度學習的圖像分割網絡，得到緊固件的標記線的掩板。

3.根據權利要求1所述的方法，其特征在于，所述在點云數據中存在不連通且主方向不同時，確定所述緊固件松動，包括：

在確定點云數據中存在不連通的點時，對所述不連通的點進行主成分分析PCA；

在得到的主方向不在一條直線上時，確定所述緊固件松動。

4.根據權利要求3所述的方法，其特征在于，確定點云數據中存在不連通的點，包括：

分別獲取所述點云數據中各點與其余點的最近鄰歐式距離；

在所述最近鄰歐式距離大于閾值時，確定存在不連通的點。

5.根據權利要求1所述的方法，其特征在于，在對獲取的緊固件檢測框進行擴邊及分割之前，包括：

獲取通過對齊的灰度相機及深度相機分別采集的灰度圖及深度圖；

根據所述灰度圖及深度圖對緊固件進行檢測定位，得到緊固件檢測框。

6.一種緊固件松動識別系統，其特征在于，包括：

第一處理模塊，用于對獲取的緊固件檢測框進行擴邊及分割，得到緊固件的標記線的掩板；

第二處理模塊，用于根據所述緊固件的標記線的掩板在深度圖上提取出對應的深度值并根據相機內參得到對應的點云數據；

第三處理模塊，用于在點云數據中存在不連通且主方向不同時，確定所述緊固件松動。

7.根據權利要求6所述的系統，其特征在于，所述第一處理模塊具體用于：

對獲取的緊固件檢測框進行擴邊，根據預設的區域進行剪裁；

將剪裁后的區域輸入基于深度學習的圖像分割網絡，得到緊固件的標記線的掩板。

8.根據權利要求6所述的系統，其特征在于，所述第三處理模塊具體用于：

在確定點云數據中存在不連通的點時，對所述不連通的點進行主成分分析PCA；

在得到的主方向不在一條直線上時，確定所述緊固件松動。

9.根據權利要求8所述的系統，其特征在于，所述第三處理模塊具體用于：

分別獲取所述點云數據中各點與其余點的最近鄰歐式距離；

在所述最近鄰歐式距離大于閾值時，確定存在不連通的點。

10.根據權利要求6所述的系統，其特征在于，所述第一處理模塊還用于：

獲取通過對齊的灰度相機及深度相機分別采集的灰度圖及深度圖；

根據所述灰度圖及深度圖對緊固件進行檢測定位，得到緊固件檢測框。

11.一種終端，其特征在于，包括：

存儲器；

處理器；以及

計算機程序；

其中，所述計算機程序存儲在所述存儲器中，并被配置為由所述處理器執行以實現如權利要求1-5任一項所述的方法。

12.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序；所述計算機程序被處理器執行以實現如權利要求1-5任一項所述的方法。