[發明專利]道路異常監控系統內部的信息整合方法

在審

• 申請號: 201910208773.1
• 申請日: 2019-03-19
• 公開（公告）號: CN111737524A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 胡珉;楊淑婉;蔡逸琳;高新聞;喻鋼
• 申請（專利權）人: 上海大學
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/71;G06K9/00;G06T5/00;G06T7/00;G06T7/11;G06T7/136;G06T7/73;G01D21/02
• 代理公司: 上海金盛協力知識產權代理有限公司 31242
• 代理人: 王松

1.一種道路異常監控系統內部的信息整合方法，其特征在于，所述方法包括：

通過無人機載多光譜相機進行視頻影像的源數據收集；

通過道路路面傳感器進行地理位置信息的源數據收集；

通過車載激光管及道路路面傳感器進行道路狀況源數據收集；

設置收集多方數據并且提供信息整合功能的綜合云系統；

所述無人機載多光譜相機用以實現普通可見光與紅外光視頻內容的拍攝及傳輸；所述無人機載多光譜相機包括遙感設備，遙感設備包括主控模塊、圖像顯示與傳輸模塊；

所述主控模塊用以完成對普通可見光與紅外光相機的控制，包括視頻對焦調整，變倍設置以及視頻增益控制；

所述圖像顯示與傳輸模塊用以實現兩種視頻信號的編解碼，屏幕顯示以及數據傳輸功能；具體過程為：首先通過主控模塊調節無人機端的CCD相機，通過可見光和紅外光兩條通道獲取對應的目標影像，并將影像轉化為數字形式傳輸回云存儲單元；

所述道路路面傳感器指道路路中井蓋內安裝的GPS傳感器；所述GPS傳感器包括、定位模塊、信息傳輸模塊；

所述定位模塊用以接收該井蓋位置信息，包括時間、定位狀態、經緯度數據信息；所述信息傳輸模塊將固定格式的傳感器收集數據報傳輸回云數據庫；

所述車載激光管及道路路面傳感器包括車載紅外激光管模塊、路面溫度傳感器、空氣溫度/濕度傳感器；其中，紅外激光管模塊具有收集對路面發射特定波長光束獲得反射回波信號的功能；車載系統的各個傳感器將收集的回波信號、路面溫度、空氣溫度/濕度數據發送回云數據庫；

所述綜合云系統包括云存儲單元與云數據庫；云存儲單元用于存放基于無人機遙感多光譜攝像頭傳輸回的視頻圖片；云數據庫用于存儲道路路中GPS傳感器發送的地理位置信息數據，車載系統中多方傳感器收集的紅外回波、溫度、濕度信息數據以及維修人員與用戶反饋上報的信息；

對無人機載多光譜相機收集的數據進行整合，包括：對視頻影像的拆解與分析，對無人機地理位置信息的坐標提取，更新云數據庫與云存儲單元；通過基于鏡頭邊界結合直方圖法和幀平均法對視頻影像的關鍵幀進行提取；具體算法如下：首先對視頻進行結構化處理：將視頻的每一幀進行存儲；通過直方圖差異法計算鏡頭中幀與幀之間的差值，差值公式如下：

其中h(i)表示視頻中一個幀的各個灰度的累計分布；m與n分別代表上一幀與下一幀；max()函數表示去兩者中的較大值；k表示這一幀的所有灰度值；

并通過多次篩選進行自適應閾值的邊界幀的判斷，最終確定鏡頭邊界；將視頻內容通過鏡頭邊界進行鏡頭分割；最后對各個鏡頭進行關鍵幀提取；后續對提取關鍵幀圖片進行分析，包括：對各類圖片分別進行熱金屬編碼處理、數字圖像處理以及道路病害圖像特征修補分析得到病害類型信息，具體算法如下：對于結冰圖像，首先將相關圖像的灰度區域分為藍色、綠色、黃色、紅色四個部分，利用最大類間方差方法求取圖像的二值化閾值，最后將熱金屬編碼四個固定區域的灰度范圍修改為四個自適應閾值即可；對于積水油污圖像，首先將圖片做灰度化處理，再用局部閾值分割的方法得到清晰的邊框，最后根據像素的占比計算可得積水油污部分面積；對于道路病害圖像，首先對圖像進行去模糊處理，再采用窗對比度特征提取算法對圖像進行特征提取得到結果；從無人機傳輸回地理位置信息中提取所需經緯度、經緯度半球的數據，同時將經緯度轉換為度分秒格式，添加半球標識；隨后將云數據庫與云存儲單元進行更新，存入處理后的圖片與數值數據；

對道路路中井蓋內安裝的GPS傳感器收集的數據進行整合，包括：對井蓋地理位置信息的坐標提取，通過坐標信息獲得病害地點道路名稱，更新云數據庫；對井蓋地理位置信息的坐標提取與遙感系統類似，從已經存儲在運輸局庫中的數據報中提取所需經緯度、經緯度半球的數據，同時將經緯度轉換為度分秒格式，添加半球標識，具體算法如下：將初始接收數據：ddmm.mmmm定義為data，一般經緯度格式中的度數通過將data除以100并取整得到；一般經緯度格式中的分數通過對data減去度數與100的乘積的差值(記為m1)的取整得到；一般經緯度格式中的秒數通過對m1與分數的差值的取整得到；至此得到一般經緯度格式：d°m′s″；隨后通過坐標偏移修正算法得到更新后的坐標信息，通過API接口獲得具體道路名稱；最后更新云數據庫，存入處理后的圖片與數值數據；

對車載紅外激光管模塊、路面溫度傳感器、空氣溫度/濕度傳感器收集的數據進行整合，包括：路面溫度計算；空氣濕度計算；道路是否產生結冰積水判斷；路面溫度通過傳感器接收的紅外輻射能量，散射系數與第1、第2輻射常數，結合普朗克定律，將第1輻射常數除以散射系數的五次方與e的f(x)次方減去1的取逆的乘積，其中f(x)為第2輻射常數除以散射系數與溫度的乘積；空氣濕度與溫度有關，通過相對濕度，絕對濕度與飽和濕度計算空氣濕度；之后，通過路面溫度與空氣濕度計算出路面結冰積水的厚度；隨后將更新后的數據存入云數據庫中；

所述維修人員與用戶反饋上報的信息包括兩類：一類是維修人員對道路異常維修工作任務的進度匯報，另一類是用戶行駛過程中發現道路異常狀況并上報；通過基于頻度和動態規劃相結合的分詞算法對兩類信息進行分詞，并提取其中道路路段、異常類型、維修進度；所述多方數據整合過程中包含數據沖突處理，通過開放定址法對沖突進行處理，包括四種沖突類型；第一種，基于結冰判斷的視頻影像提取關鍵幀分析與實際數值數據的判定結果沖突；第二種，基于積水判斷的視頻影像提取關鍵幀分析與車載激光管所獲得的數據的判定結果沖突；第三種，基于道路病害類型判斷的無人機所拍攝視頻影像提取關鍵幀分析與與車載攝像頭所獲得視頻圖片關鍵幀分析的判定結果沖突；第四種，基于異常處理進度判斷的反饋時間沖突；

所述多方數據整合過程中還包含數據、圖片整合過程；其對應關系主要有以下幾種：結冰圖片與結冰的厚度、溫度對應；積水圖片與積水的深度、面積對應；道路病害的圖片與道路名稱對應；以上所有對應關系都包含位置坐標信息與道路名稱的對應關系，具體算法如下：對于第一種對應關系：從云數據庫中提取從于無人機拍攝的視頻中提取的道路結冰圖片，同時提取基于該圖片計算出的結冰厚度與溫度存放于對外數據庫以便后續網頁展示；對于第二種對應關系，與第一種類似：從云數據庫中提取從于無人機拍攝的視頻中提取的道路積水圖片，同時提取基于該圖片計算出的積水深度與面積存放于對外數據庫以便后續網頁展示；對于第三種對應關系：從云數據庫中提取從于無人機拍攝的視頻中提取的道路病害圖片，由于無人機拍攝視頻提供實時軌跡，通過提取的關鍵幀的位置得到該圖片的地理位置信息，并存放于對外數據庫以便后續網頁展示。