[發明專利]一種基于深度學習的矸石充填搗實機構防碰撞應用方法

有效

• 申請號: 202010870773.0
• 申請日: 2020-08-26
• 公開（公告）號: CN112347841B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 高浩;胡敏;李昊倫;金曉燕;成超
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/762;G06V10/774;G06V10/44;G06V20/40;G06K9/62;G06N3/04
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 韓紅莉

1.一種基于深度學習的矸石充填搗實機構防碰撞應用方法，其特征在于，包括以下步驟：

步驟一，制作數據集并使用神經網絡進行訓練，訓練得到相應的權重；

步驟二，視頻以逐幀圖片的形式輸入神經網絡，使用訓練好的權重對搗實過程中的搗實機構和刮板輸送機進行預測識別；

步驟三，通過測距算法測出搗實過程中刮板輸送機和壓實板之間的距離，設置安全閾值；

步驟四，若刮板輸送機和壓實板之間的距離大于安全閾值，則控制系統控制搗實機構正常運行；

若刮板輸送機和壓實板之間的距離小于安全閾值，則控制系統控制搗實機構停止運行，調整壓實板與刮板輸送機之間的距離，執行步驟三；

步驟四中，根據收到的信號，控制系統控制調整壓實板與刮板輸送機的距離，控制系統實時使用測距算法測出壓實板與刮板輸送機之間的距離；

對YOLOV3網絡預測出來的邊界框進行算法分析，測距是基于像素的距離計算，在圖像中刮板輸送機和壓實板之間的縱向像素差值，得到刮板輸送機和壓實板之間的距離的數值；

在壓實板的邊界框上邊緣選定特定點A和特定點B，將特定點A向上延長至刮板輸送機的邊界框的下邊緣相交得到新特定點A’，將特定點B向上延長至刮板輸送機的邊界框的下邊緣相交得到新特定點B’；

以圖像的左上角的像素點作為(0，0)起點的，特定點A在圖像中縱坐標的像素值減去新特定點A’在圖像中縱坐標的像素值即特定點A和新特定點 A’兩者的像素距離，特定點B在圖像中縱坐標的像素值減去新特定點B’在圖像中縱坐標的像素值即特定點B和新特定點B’兩者的像素距離；

將特定點A和新特定點 A’兩者的像素距離、特定點B和新特定點 B’兩者的像素距離分別與安全閾值比較，對當前搗實機構的安全性進行實時的判定；

找到一個參照物，測量參照物的實物長度，以及在圖像中該參照物實物長度所占像素值，參照物的實物長度除以像素值得到比值，從而得到攝鏡儀與實物之間的實物像素比，將安全閾值的實際大小換算為安全閾值的像素值，輸出安全閾值的像素值；安全閾值的像素值取值10個像素。

2.根據權利要求1所述的一種基于深度學習的矸石充填搗實機構防碰撞應用方法，其特征在于，步驟一中，調整攝像儀的采集角度和光照環境，攝像儀采集礦井下搗實環境的視頻，對視頻截圖保存得到圖像，根據角點坐標對圖像進行放射變換和透視變換得到矯正后的圖像，并在神經網絡上訓練圖像，分別對壓實板和刮板輸送機進行標注并制作成數據集。

3.根據權利要求1所述的一種基于深度學習的矸石充填搗實機構防碰撞應用方法，其特征在于，步驟二中，在搗實過程中采用YOLOV3網絡結構訓練得到權重，采用YOLOV3網絡結構對壓實板和刮板輸送機進行預測識別和定位。

4.根據權利要求2所述的一種基于深度學習的矸石充填搗實機構防碰撞應用方法，其特征在于，步驟三中，對圖像進行逐幀處理，控制系統計算出壓實板與刮板輸送機之間像素級別的差值，通過測距算法測出搗實過程中刮板輸送機和壓實板之間的距離。

5.根據權利要求1所述的一種基于深度學習的矸石充填搗實機構防碰撞應用方法，其特征在于，步驟四中，將步驟三中測得的距離與安全閾值進行比較，若距離小于安全閾值，則報警并輸出信號給到控制系統。

6.根據權利要求1所述的一種基于深度學習的矸石充填搗實機構防碰撞應用方法，其特征在于，訓練使用的最小的圖像尺寸為320x320像素，最大的圖像尺寸為608x608像素。

7.根據權利要求3所述的一種基于深度學習的矸石充填搗實機構防碰撞應用方法，其特征在于，YOLOV3網絡使用Darknet-53去除全連接層的前面52層，Darknet-53采用殘差網絡的跳層連接方式。

8.根據權利要求3所述的一種基于深度學習的矸石充填搗實機構防碰撞應用方法，其特征在于，YOLOV3網絡預測出壓實板的像素位置和壓實板的邊界框的大小，YOLOV3網絡預測出刮板輸送機的像素位置和刮板輸送機的邊界框的大小，壓實板的邊界框和刮板輸送機的邊界框預測公式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中，(bx,by)為需要預測的邊界框的中心點坐標，b_w為邊界框的寬度，b_h為邊界框的高度，(t_x,t_y)是預測的邊界框中心點坐標的坐標偏移值；(t_w,t_h)是尺度縮放，t_w和t_h分別經過sigmoid函數輸出0-1之間的偏移量，t_w與c_x相加得到邊界框中心點的X軸坐標，t_h與c_y相加得到邊界框中心點的Y軸坐標；(c_x,c_y)是相對于邊界框左上角的位置坐標；p_w是預設的錨框映射到特征圖中的寬，p_h是預設的錨框映射到特征圖中的高；t_w與p_w作用后得到邊界框的寬度b_w，th與p_h作用后得到邊界框的高度b_h。