[發明專利]具有圖像語義感知的智慧城市CIM實時成像方法

在審

• 申請號: 202010626064.8
• 申請日: 2020-07-02
• 公開（公告）號: CN111784822A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 趙丹
• 申請（專利權）人: 鄭州邁拓信息技術有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/00;G06K9/32;G06T3/40
• 代理公司: 鄭州芝麻知識產權代理事務所(普通合伙) 41173
• 代理人: 胡向陽

1.一種具有圖像語義感知的智慧城市CIM實時成像方法，其特征在于，該方法包括：

步驟1，以三維的城市空間地理信息為基礎，疊加城市建筑、地上地下設施的BIM信息以及城市物聯網信息，構建三維數字空間的城市信息模型；

步驟2，使用城市各道路攝像頭采集城市各道路圖像作為樣本圖像集；

步驟3，對樣本集圖像中每個車輛進行關鍵點標注，關鍵點包括車頭左右車燈位置，車頂四個角點，車尾左右車燈位置；對樣本集圖像內的所有車輛的關鍵點進行高斯核卷積，生成車輛關鍵點熱力圖；

步驟4，對樣本集圖像的每一類車輛關鍵點進行身份標注，生成多通道的身份標注圖，同一車輛的車輛關鍵點身份標注相同；

步驟5，通過樣本圖像集和標注的標簽數據，端到端地訓練車輛關鍵點檢測編碼器、車輛關鍵點檢測解碼器；

步驟6，將攝像頭實時采集的圖像輸入車輛關鍵點檢測編碼器、車輛關鍵點檢測解碼器中，得到車輛關鍵點熱力圖以及身份標注圖；

步驟7，計算車頭左右車燈位置與車頂前面兩個角點相應坐標值差的絕對值，將相應坐標值差的絕對值相加，判斷相加結果是否大于設定閾值，如果小于設定閾值，則車頭左右車燈位置與車頂前面兩個角點形成的第一矩形區域與車頂四個角點形成的第二矩形區域重合；否則，則第一矩形區域與第二矩形區域不重合；以同樣的方法判斷車位左右車燈位置與車頂后面兩個角點形成的第三矩形區域與第二矩形區域是否重合；

步驟8，對第一矩形區域、第二矩形區域、第三矩形區域進行放射變換，得到車輛俯視圖像，若第一矩形區域與第二矩形區域重合，則不對第一區域進行仿射變換，若第三矩形區域與第二矩形區域重合，則不對第三矩形區域進行仿射變換；

步驟9，將車輛俯視圖像與攝像頭采集的背景圖進行泊松融合；

步驟10，將各個道路攝像機泊松融合的結果進行圖像拼接形成完整的區域圖像，并投影到CIM中，通過WebGIS技術對CIM模型中的多種信息進行可視化。

2.如權利要求1所述的方法，其特征在于，對樣本集圖像內的所有車輛的關鍵點進行高斯核卷積，生成車輛熱力圖具體為：

對樣本圖像內所有車輛同一類別的關鍵點進行高斯核卷積，得到不同類別關鍵點的熱力圖；

將所有類別關鍵點的熱力圖聯合，形成多通道的車輛關鍵點熱力圖。

3.如權利要求1所述的方法，其特征在于，所述車輛關鍵點檢測編碼器對圖像進行特征提取，輸入為經過歸一化處理的圖像數據，輸出為特征圖；所述車輛關鍵點檢測解碼器是對特征圖進行上采樣并最終生成車輛關鍵點熱力圖及身份標注圖，其輸入為車輛關鍵點檢測編碼器產生的特征圖，輸出為車輛的關鍵點熱力圖及身份標注圖。

4.如權利要求1所述的方法，其特征在于，訓練車輛關鍵點檢測編碼器、車輛關鍵點檢測解碼器采用的損失函數Total Loss為：

其中，γ、為權值系數，P_cij代表類別C的車輛關鍵點在位置(i,j)處的得分，得分越高就越可能是車輛的關鍵點，y_cij表示真實值熱力圖位置(i,j)處的值，N表示關鍵點數量，α、β為超參數，n表示第n個車輛，k表示第k個關鍵點，X表示真實關鍵點所在的像素位置，表身份標注真實值，h_k(x_nk,)是預測的身份標注值，δ為人為設定值，n′為除第n個車輛外的其他車輛。

5.如權利要求1所述的方法，其特征在于，固定閾值為60。

6.如權利要求1所述的方法，其特征在于，所述背景圖的獲得方法為：對攝像頭采集的道路圖像進行角點檢測，進行透視變換，得到俯視視圖的背景圖。

7.如權利要求1所述的方法，其特征在于，將各個道路攝像機泊松融合的結果進行圖像拼接形成完整的區域圖像具體為：

進行圖像配準，采用一定的匹配策略，找出待拼接圖像中的特征點在參考圖像中對應的位置；

根據圖像特征之間的對應關系，計算出數學模型中的各參數值，從而建立兩幅圖像的數學變換模型；

根據建立的數學轉換模型，將待拼接圖像轉換到參考圖像的坐標系中，完成統一坐標變換；

將待拼接圖像的重合區域進行融合得到拼接重構的平滑無縫的完整的區域圖像。