[發明專利]基于人工智能及圖像處理的市政CIM環衛工作分配方法

在審

• 申請號: 202010638415.7
• 申請日: 2020-07-06
• 公開（公告）號: CN111784171A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 張瑞根;陳素娜
• 申請（專利權）人: 鄭州邁拓信息技術有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/26;G06K9/00;G06K9/34;G06K9/62;G06T3/40
• 代理公司: 鄭州芝麻知識產權代理事務所(普通合伙) 41173
• 代理人: 胡向陽

1.一種基于人工智能及圖像處理的市政CIM環衛工作分配方法，其特征在于，該方法包括：

步驟一，結合城市建筑信息、道路信息，建立三維城市空間模型，構建城市信息模型，并在城市信息模型中集成環衛工作信息；

步驟二，將環衛工作區域信息、環衛工作區域內垃圾桶信息與負責人匹配，并將匹配后的信息集成到城市信息模型；

步驟三，各個攝像頭對監控子區域進行圖像采集；根據相機像平面與城市信息模型地面二維平面之間角點的對應點對，通過SVD算法得到兩個平面之間投影變換的單應性矩陣，通過單應性矩陣將像平面的點投影到與城市信息模型地面平行的復合全景平面上；對投影變換后的圖像進行圖像拼接操作，并集成到城市信息模型中，結合WebGIS技術對城市信息模型進行可視化；

步驟四，將監控垃圾桶的攝像頭采集的圖像作為輸入，送入行人檢測編碼器、行人檢測解碼器進行分析，得到行人檢測熱力圖；對行人檢測熱力圖進行坐標回歸，并將得到的關鍵點坐標投影到城市信息模型地面坐標系中；根據城市信息模型中垃圾桶的地面坐標生成ROI；對每一幀圖像進行ROI內關鍵點坐標個數統計，送入寄存器作累加運算；設定閾值，當寄存器中的數值大于閾值時，輸出清理垃圾桶的提示信息；

將各個子區域采集的圖像作為輸入，送入垃圾檢測編碼器、垃圾檢測解碼器進行分析，得到地面垃圾檢測語義分割圖；設定閾值，對地面垃圾檢測語義分割圖中屬于垃圾的像素點數目進行統計，當統計值大于閾值時，輸出清理地面垃圾的提示信息；

步驟五，根據提示信息中包含的位置信息，查詢城市信息模型中環衛工作區域信息、環衛工作區域內垃圾桶信息與負責人的匹配關系，向負責人發出相應的提示信息。

2.如權利要求1所述的方法，其特征在于，行人檢測編碼器對垃圾桶圖像進行特征提取，輸出特征圖；

行人檢測解碼器，對特征圖進行卷積解碼，輸出行人檢測熱力圖，行人檢測熱力圖中熱斑表征行人關鍵點位置的置信度。

3.如權利要求2所述的方法，其特征在于，垃圾檢測編碼器對監控子區域圖像進行特征提取，輸出特征圖；

垃圾檢測分割解碼器對特征圖進行解碼表征，輸出地面垃圾檢測語義分割圖，地面垃圾檢測語義分割圖用于區分垃圾與其他無關元素的語義。

4.如權利要求1或2所述的方法，其特征在于，該方法還包括對行人檢測編碼器、行人檢測解碼器進行訓練，訓練方法如下：采集行人圖像構建樣本數據集，隨機選擇其中的80％作為訓練集，剩下的20％作為驗證集；對數據集進行特征標注，對行人兩腳中心在地面投影的一個點進行高斯模糊生成熱斑標注；采用均方差損失函數，隨機梯度下降法進行訓練。

5.如權利要求1或3所述的方法，其特征在于，該方法還包括對垃圾檢測編碼器、垃圾檢測解碼器進行訓練，訓練方法如下：以區域內存在垃圾的圖像作為樣本數據集，構建數據集時應確保垃圾種類的多樣化，垃圾包括果皮、紙屑、煙頭、塑料袋；隨機選擇其中的80％作為訓練集，剩下的20％作為驗證集；對數據集進行特征標注，標注為兩個類別：垃圾和其他無關項；采用交叉熵損失函數，隨機梯度下降法對分支進行訓練。

6.如權利要求1所述的方法，其特征在于，所述對投影變換后的圖像進行圖像拼接操作，并集成到城市信息模型包括：

對投影變換后的待拼接監控子區域圖像進行圖像校正、噪聲抑制；提取待拼接監控子區域圖像的特征點，進行特征點的匹配；根據匹配點對進行單應性矩陣的估計，通過RANSAC方法估算單應性矩陣，將待拼接圖像轉換到同一坐標下；將所有輸入圖像變形到復合全景平面上，計算輸入圖像的變形圖像的坐標范圍，得到輸出圖像的大小，計算源圖像原點與輸出全景圖原點的偏移量，將每個輸入源圖像的像素映射到輸出平面上；進行圖像融合，得到圖像拼接結果，集成到城市信息模型中。