[發明專利]一種基于深度學習與飛行時間的電梯門空間異物檢測方法

在審

• 申請號: 202210369878.7
• 申請日: 2022-04-08
• 公開（公告）號: CN114863155A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 胡鶴軒;趙宇晨;胡強;張曄;袁子揚;許天霖;岳海洋
• 申請（專利權）人: 河海大學
• 主分類號: G06V10/762
• 分類號: G06V10/762;G06K9/62;G06T7/136;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 樓然

1.一種基于深度學習與飛行時間的電梯門空間異物檢測方法，其特征在于，包括以下步驟：

步驟1、收集創建電梯門空間異物圖像數據集，并進行亮度數據增強；

步驟2、搭建基于SMU激活函數與新型注意力卷積CoT的改進YOLOv5s目標檢測模型，并利用步驟一所獲取的數據集對改進的YOLOv5s目標檢測模型進行訓練；

步驟3、利用飛行時間技術相機產生電梯門空間深度圖像，通過K-means聚類閾值分割法將電梯門空間的深度圖像進行閾值分割；在分割后的圖像上利用條形分割定位檢測算法進行異物的檢測；最后將改進YOLOv5目標檢測模型在普通相機上檢測結果與條形分割定位檢測算法在飛行時間技術相機上檢測結果進行綜合判斷。

2.根據權利要求1所述的一種基于深度學習與飛行時間的電梯門空間異物檢測方法，其特征在于，所述的對收集的圖片數據集進行數據增強，其對于RGB圖像的亮度調節公式為：

g(i，j)＝af(i，j)+b

其中f(i，j)和g(i，j)分別為調節前后的圖片，a為對比度，b為飽和度。

3.根據權利要求1所述的一種基于深度學習與飛行時間的電梯門空間異物檢測方法，其特征在于，所述的步驟2中，將YOLOv5s內基礎CBL模塊中的所有激活函數改進為SMU激活函數；并且在YOLOv5s目標檢測模型的主干特征提取網絡Backbone中加入基于空間注意力卷積CoT結構，將C3模塊的Res unit X中的3×3卷積結構改進為CoT結構。

4.根據權利要求1所述的一種基于深度學習與飛行時間的電梯門空間異物檢測方法，其特征在于，所述步驟3包括：

步驟3-1采用K-means聚類的方式，將電梯門空間的深度圖像的地面區域與非地面區域的像素進行聚類，獲得分割閾值；再以獲得的分割閾值對電梯門空間的深度圖像進行圖像閾值分割；

步驟3-2用設計的條形分割定位法來檢測閾值分割后的電梯門空間的深度圖像；首先將閾值分割后的電梯門空間深度圖像的地面區域劃分為檢測區域；在條形分割定位檢測算法中，將檢測區域橫向和縱向劃分成若干等份，計算每一劃分區域內的平均像素值，若低于設定閾值，則判斷此區域內有異物；其表達式如下：

其中，結果1代表此區域有異物，0代表此區域無異物；p(i，j)為條形區域像素值，i為條形區域的像素橫坐標，j為條形區域的像素縱坐標，T為設定閾值；最后，統計橫向與縱向劃分區域內有異物的區域的個數，將有異物區域標記出來得出被檢異物的具體位置與大小；

步驟3-3將改進YOLOv5目標檢測模型在普通相機上檢測結果與條形分割定位檢測算法在飛行時間技術相機上檢測結果進行綜合判斷，只有在改進的YOLOv5s目標檢測模型網絡先檢測出異物的前提下，再基于飛行時間技術的深度圖像檢測出異物的情況，檢測算法流程才將輸出結果表示為有異物。

5.根據權利要求4所述的一種基于深度學習與飛行時間的電梯門空間異物檢測方法，其特征在于，對電梯門空間的深度圖像的所有像素灰度值求平均值，在電梯門空間無異物時其均值為t；而每個像素點的x軸坐標值可根據當前點的灰度值減去平均值得出；一個灰度值為v的像素點在聚類坐標系中的坐標點為(v-a,v)；通過此方法對圖像中所有的點在聚類坐標系中擁有其特定的位置，這些點滿足關系式：

y＝x+t

其中y為縱坐標，x為橫坐標，t為均值；

將這些點投入K-means聚類算法實現聚類；在聚類之前，將簇的個數設置為2；值較大的質心為閾值分割的閾值。

6.根據權利要求4所述的一種基于深度學習與飛行時間的電梯門空間異物檢測方法，其特征在于，電梯門空間的深度圖像閾值分割是通過閾值的設定，將電梯門空間的深度圖像中的轎廂地面與非轎廂地面給區分開，以便電梯門空間的深度圖像的異物檢測；電梯門空間的閾值分割最終效果為，將高于分割閾值的轎廂地面區域劃分為灰度值為255的區域，將低于分割閾值的轎廂地面區域劃分為灰度值為0的區域，最后形成閾值分割后的電梯門空間的深度圖像。