[發明專利]一種基于深度學習的電梯非同步開門識別系統及方法

有效

• 申請號: 202110400482.X
• 申請日: 2021-04-14
• 公開（公告）號: CN112801071B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 李東洋;汪宏;王曰海;楊建義;李琛;丁無極
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/44;G06K9/62;G06N3/04;G06N3/08;G08B7/06
• 代理公司: 杭州堅果知識產權代理事務所(普通合伙) 33366
• 代理人: 張劍英

1.一種基于深度學習的電梯非同步開門識別系統，其特征在于，包括視頻采集模塊、圖像矯正模塊、模型訓練模塊、檢測識別模塊以及發布告警及處置模塊；其中，

所述視頻采集模塊，包括安裝在轎門上方的攝像裝置，用于采集電梯地坎圖像作為輸入圖像；

所述圖像矯正模塊，用于對輸入圖像做光照自適應矯正和圖像角度自適應矯正后生成矯正后的輸出圖像；

所述模型訓練模塊，包括地坎槽目標檢測模型訓練單元和非同步開門識別模型訓練單元；分別用于預先訓練廳門和轎門地坎槽檢測模型、基于孿生分類網絡的非同步開門識別模型，以供檢測識別模塊加載使用；

所述檢測識別模塊，包括地坎槽檢測單元、非同步開門識別單元；用于對應加載訓練好的地坎槽目標檢測模型以及非同步開門識別模型進行預測、識別，以判斷是否發生非同步開門；

所述發布告警及處置模塊，包括警示燈以及通訊裝置；警示燈分別設置于電梯轎廂內及廳門外；通訊裝置分別設置于電梯轎廂內以及后端服務器；所述發布告警及處置模塊用于通過語音、燈光方式發布非同步開門故障告警信息；

所述視頻采集模塊與圖像矯正模塊電性連接；模型訓練模塊和檢測識別模塊都設置于后端服務器。

2.根據權利要求1所述的一種基于深度學習的電梯非同步開門識別系統，其特征在于，所述攝像裝置的鏡頭設置于轎門與廳門的門扇之間，鏡頭方向垂直于地坎，并能夠同時拍攝廳門地坎槽和轎門地坎槽；所述鏡頭的具體安裝位置與電梯門扇打開的位置一致，當電梯為中分開門時，鏡頭安裝在正中間，當電梯為旁開門時，鏡頭安裝開門一端。

3.根據權利要求1所述的一種基于深度學習的電梯非同步開門識別系統，其特征在于，所述圖像矯正模塊中的圖像光照自適應矯正單元，具體用于對視頻采集模塊采集到的輸入圖像做光照自適應矯正，處理光線昏暗時低照度圖像、強燈照射時的高照度圖像，以及地坎金屬槽反光引起的過曝、高反光圖像，以提高光照均勻度并增強圖像質量，自適應處理方法如公式(1)(2)所示：

其中，O(x,y)是矯正后的輸出圖像的光照特性，I(x,y)為輸入圖像F(x,y)提取出的光照分量，m為光照分量的亮度均值；γ系數為自適應系數，參數k和r為通過機器學習方法根據電梯轎廂實際光照條件迭代學習的可變參數；

所述圖像矯正模塊中的圖像角度自適應矯正單元，其具體用于對檢測到的輸入圖像進行角度變換以適應不同鏡頭、不同型號的門系統、不同類型的開門方式帶來的角度畸變；其變換原理如公式(3)(4)(5)(6)所示：

其中，(x′,y′)是變換后像素點坐標，(x,y)是變換前坐標，w、h分別是輸入圖像的寬度和高度，θ是攝像裝置的鏡頭中心與地坎槽水平中心線的夾角，是攝像裝置的鏡頭中心與地坎槽中心線的夾角，F(θ)和是由θ和決定的衡量二維平面旋轉角度和三維空間繞z軸旋轉程度的向量，并作為超參數進行自適應訓練。