[發明專利]高速公路事件檢測的數據清洗方法

有效

• 申請號: 201510244358.3
• 申請日: 2015-05-14
• 公開（公告）號: CN104916131B
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 趙敏;孫棣華;肖軍
• 申請（專利權）人: 重慶大學
• 主分類號: G08G1/01
• 分類號: G08G1/01
• 代理公司: 北京匯澤知識產權代理有限公司11228
• 代理人: 武君

技術領域

本發明屬于道路交通檢測技術領域，具體涉及一種高速公路事件檢測的數據清洗方法。

背景技術

近年來，高速公路頻頻出現交通擁擠、交通事故等問題，影響著高速公路路網運行效率，隨著智能交通技術的發展，高速公路事件檢測系統正在陸續投入的應用研發，為解決高速公路事件管理帶來機遇。

高速公路事件檢測系統依賴著大量從傳感器獲取的數據，這些數據的可靠程度會直接影響高速公路事件檢測的可信性和可靠性，但由于技術水平和工程條件的限制，當前數據可靠程度不能滿足實際工程需求。由于我國智能交通系統起步相對較晚，配套設施(交通信息采集系統、傳輸系統、硬件設施等)建設并不完善，上傳到高速公路事件檢測系統的交通檢測數據可靠性還存在很大的不足。工程實踐表明，種種數據不可靠因素導致高速公路事件檢測系統的檢測效果并不理想。

因此，數據清洗工作是提高高速公路事件檢測系統可靠性的必要工作。數據清洗工作主要有兩個內容：第一，篩選導致系統不能正常工作的數據(包括數據缺失、數據異常等)；第二，對這些不正常的數據進行修復。

現有數據篩選方法主要分為基于統計學和基于交通流理論兩類方法。基于統計學的數據篩選方法(如時間序列法、指數平滑法等)，其優點是可以通過數據的歷史信息來評價當前數據，并且每個周期數據的歷史數據都不盡相同，因此具有動態性，可以適應不同流量特點變化，缺點是沒有考慮交通流理論的基本三參數關系；基于交通流理論的交通數據篩選方法(如基于交通流三參數關 系方法、流量守恒方法等)，其優點是考慮了交通流機理，對于評價數據的標準一定是滿足交通流機理的，缺點是缺乏動態性。

數據修復方面的相關解決方法主要是基于統計學的方法，包括時間序列、回歸模型等，主要利用歷史數據進行預測和修復。

從現有的數據清洗方法來看，一方面，兩類數據篩選方法各有優缺點，尚未有較好的方法結合二者優點并規避二者缺點；另一方面，數據修復方法僅通過歷史數據進行修復，忽略了當前周期數據所保留的部分真實信息。因此，如何結合兩類數據篩選方法的優點，避開缺點，并在修復階段有效地把握當前周期數據保留的真實交通流信息，對于提高高速公路事件檢測系統的數據可靠性有著重要意義。

發明內容

有鑒于此，本發明的目的在于提供一種高速公路事件檢測的數據清洗方法，以減少數據缺失及數據異常現象導致對高速公路事件檢測系統工作的影響，以提升系統的工作可信性。

為達到上述目的，本發明提供如下技術方案：

高速公路事件檢測的數據清洗方法，包括以下步驟：

1)采用帶延遲時間容忍度t_a的條件判斷高速公路事件檢測的數據是否缺失；采用條件篩選方法判斷高速公路事件檢測的數據是否異常，所述條件包括非凌晨時間數據全為0、速度或占有率高于閾值、部分交通參數為0；

2)對缺失數據和異常數據進行修復，對于數據缺失和異常數據中非凌晨時間數據全為0的情況，采用移動平均方法進行修復，對于異常數據中占有率和平均車速同時較高、部分交通參數為0的兩種情況，采用反比例法進行修復。

進一步，所述步驟1)具體采用如下步驟：

101)設置數據延遲時間的容忍度t_a；

102)延遲t_a時間讀取當前周期數據；

103)讀取當前周期數據；

104)如果當前周期有數據則執行步驟105)，如果當前周期沒有數據，則標記為數據缺失，并結束數據缺失的篩選流程；

105)判斷讀取的數據是否全為0，如果是，則跳轉執行步驟106)，如果不是，則跳轉執行步驟107)；

106)判斷是否是凌晨，如果是凌晨，則為正常數據，如果非凌晨，則為異常數據，結束篩選，標志非凌晨數據全為0并跳轉執行步驟2)；

107)讀取當前周期之前n個周期數據并計算前n個周期的值：

其中q'(t)表示當前周期之前n個周期數據流量值，o'(t)表示當前周期之前n個周期占有率值，v'(t)表示當前周期之前n個周期平均車速值，同時從小到大排列值；

108)計算指數p_i：

p_i＝(i/n)*100

其中i為前n個周期數據由小到大的排列序號；

109)如果p_i>25，則第i個數據的值則為第一個四分位數Q1，并且如果p_i>75，則第i個數據值則為第三個四分位數Q3；