[發明專利]高速公路事件檢測的數據清洗方法

有效

• 申請號: 201510244358.3
• 申請日: 2015-05-14
• 公開（公告）號: CN104916131B
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 趙敏;孫棣華;肖軍
• 申請（專利權）人: 重慶大學
• 主分類號: G08G1/01
• 分類號: G08G1/01
• 代理公司: 北京匯澤知識產權代理有限公司11228
• 代理人: 武君

1.高速公路事件檢測的數據清洗方法，其特征在于：包括以下步驟：

1)采用帶延遲時間容忍度t_a的條件判斷高速公路事件檢測的數據是否缺失；采用條件篩選方法判斷高速公路事件檢測的數據是否異常，所述條件包括非凌晨時間數據全為0、速度或占有率高于閾值、部分交通參數為0；具體采用如下步驟：

101)設置數據延遲時間的容忍度t_a；

102)延遲t_a時間讀取當前周期數據；

103)讀取當前周期數據；

104)如果當前周期有數據則執行步驟105)，如果當前周期沒有數據，則標記為數據缺失，并結束數據缺失的篩選流程；

105)判斷讀取的數據是否全為0，如果是，則跳轉執行步驟106)，如果不是，則跳轉執行步驟107)；

106)判斷是否是凌晨，如果是凌晨，則為正常數據，如果非凌晨，則為異常數據，結束篩選，標志非凌晨數據全為0并跳轉執行步驟2)；

107)讀取當前周期之前n個周期數據并計算前n個周期的值：

其中q'(t)表示當前周期之前n個周期數據流量值，o'(t)表示當前周期之前n個周期占有率值，v'(t)表示當前周期之前n個周期平均車速值，同時從小到大排列值；

108)計算指數p_i：

p_i＝(i/n)*100；

其中i為前n個周期數據由小到大的排列序號；

109)如果p_i>25，則第i個數據的值則為第一個四分位數Q¹，并且如果p_i>75，則第i個數據值則為第三個四分位數Q³；

110)計算四分位距IQR，IQR的計算公式為IQR＝Q3-Q1；

111)：計算的取值范圍其中和分別為的取值上限和取值下限；

112)計算q(t)的取值范圍[q(t)_min,q(t)_max]，其中q(t)_min為流量的取值下限，q(t)_max為流量的取值上限，q(t)表示當前周期數據流量值，o(t)表示當前周期占有率值，v(t)表示當前周期平均車速值；

113)判斷q(t)是否小于q(t)_min或大于q(t)_max，如果是，則認為是異常數據；

2)對缺失數據和異常數據進行修復，對于數據缺失和異常數據中非凌晨時間數據全為0的情況，采用移動平均方法進行修復，對于異常數據中占有率和平均車速同時較高、部分交通參數為0的兩種情況，采用反比例法進行修復；具體包括如下步驟：

201)判斷當前數據是否屬于數據缺失情況，如果不是則進入202)，如果是，則采用加權的移動平均方法進行數據修復并結束修復過程；

202)判斷當前數據是否是非凌晨時間數據全為0的情況，如果不是則直接結束修復過程，如果是，則采用加權的移動平均方法進行數據修復并結束修復過程；

203)判斷是否屬于數據異常并需要修復，如果不是則結束修復過程，如果是，則執行步驟204)；

204)計算β值：

判斷流量是否高于閾值，如果是，則β＝q(t)-q(t)_max，如果不是，則β＝q(t)_min-q(t)，其中q(t)為當前周期流量值；

205)進行數據修復，修復公式如下：

$\hat{y}\left(t\right)=\frac{1}{\mathrm{\β}}y\left(t\right)+\frac{\mathrm{\α}*\mathrm{\β}-\mathrm{\α}}{\mathrm{\β}}y(t-1)+\frac{\mathrm{\β}-\mathrm{\α}*\mathrm{\β}-1+\mathrm{\α}}{\mathrm{\β}}y(t-2);$

其中，為修復后的交通流量、平均車速或占有率，y(t)為修復前的交通流量、平均車速或占有率，y(t-1)和y(t-2)分別為前一個周期和前兩個周期的流量、平均車速或占有率,1/β稱為反比例系數，α為加權系數，取0.4-0.8。

2.如權利要求1所述的高速公路事件檢測的數據清洗方法，其特征在于：所述加權的移動平均方法進行數據修復的公式如下：

$\hat{y}\left(t\right)=\mathrm{\α}y(t-1)+(1-\mathrm{\α})y(t-2);$

其中為修復后的交通流量、平均車速或占有率，y(t-1)和y(t-2)分別為前一個周期和前兩個周期的流量、平均車速或占有率，α為加權系數，取0.4-0.8。