[發(fā)明專利]一種綜合交通規(guī)劃類統(tǒng)計數據融合治理的方法

在審

• 申請?zhí)枺?/td>: 202210054573.7
• 申請日: 2022-01-18
• 公開（公告）號: CN114398312A
• 公開（公告）日: 2022-04-26
• 發(fā)明（設計）人: 黃興華;顧明臣;徐華軍;劉宏;吳學治;蹇峰;王蘭;黃叒;張越評;李悅;孫碩;張碩;李云漢
• 申請（專利權）人: 交通運輸部規(guī)劃研究院
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/16;G06F16/17;G06F16/172
• 代理公司: 北京快易權知識產權代理有限公司 11660
• 代理人: 趙秀英

本發(fā)明公開了一種綜合交通規(guī)劃類統(tǒng)計數據融合治理的方法，包括數據預處理、數據質量控制、數據用戶勘誤、數據新增及替換四個步驟；數據預處理，將原始紙質資料進行預處理，生成一維預處理文件；數據質量控制，將一維預處理文件進行拆分、校驗，并對錯誤數據進行校對更正；數據用戶勘誤，質量稽核完成數據，經過基礎庫存儲，然后倒入應用庫，供前端應用調取使用；數據新增及替換，記錄新增數據，并將原數據替換為最新數據。本發(fā)明實現了數據指標、時間、空間維度的融合；彌補了OCR識別后數據錯誤率高、錯誤數據核對效率低的問題，實現了錯誤數據自動化識別；實現了每一條數據的溯源，建立了數據庫中數據與原始數據資料間的關系。

技術領域

本發(fā)明涉及交通數據治理技術領域，尤其涉及一種綜合交通規(guī)劃類統(tǒng)計數據融合治理的方法。

背景技術

交通運輸是國民經濟中基礎性、先導性、戰(zhàn)略性產業(yè)，是重要的服務性行業(yè)。綜合交通規(guī)劃工作對構建好現代綜合交通運輸體系意義重大。隨著綜合交通規(guī)劃數字化轉型推進，高質量數據成為工作開展的瓶頸。

在使用非結構化資料構建滿足綜合交通規(guī)劃需求的結構化數據庫過程中，現有技術方案主要采用了電子化掃描、ORC識別、人工預處理、批量入庫、人工二次校對修正的方式完成，產生了同含義數據指標未能融合、指標維度混亂、數據錯誤率高、數據入庫后校對不直觀、錯誤數據溯源困難的問題，嚴重影響了數據檢索、BI可視化、GIS應用分析、模擬仿真計算的效果。

發(fā)明內容

本發(fā)明目的是提供了一種綜合交通規(guī)劃統(tǒng)計類數據融合治理方法，涵蓋了數據采集、轉換、入庫、勘誤、更新、刪除的數據全生命周期，解決以上存在的問題。

本發(fā)明解決技術問題采用如下技術方案：

一種綜合交通規(guī)劃類統(tǒng)計數據融合治理的方法，包括數據預處理、數據質量控制、數據用戶勘誤、數據新增及替換四個步驟；

S1，數據預處理，將原始紙質資料進行預處理，生成一維預處理文件；

S2，數據質量控制，將一維預處理文件進行拆分、校驗，并對錯誤數據進行校對更正；

S3，數據用戶勘誤，質量稽核完成數據，經過基礎庫存儲，然后倒入應用庫，供前端應用調取使用；

S4，數據新增及替換，記錄新增數據，并將原數據替換為最新數據。

進一步的，數據預處理包含數據電子化、目錄樹命名融合、數據降維處理、維度命名融合以及目錄樹編碼與維度編碼五個步驟；

S11，數據電子化，對紙質資料進行掃描，形成不可編輯非結構化文件，通過OCR程序實現不可編輯電子文件向可編輯非結構化文件轉換；

S12，目錄樹命名融合，對不同年份統(tǒng)計資料的數據目錄進行統(tǒng)一；

S13，數據降維處理，采用Python程序對數據表的行表頭和列表頭分別降維，形成一張二維數據表；再對二維數據表，進行行表頭和列表頭的降維合并得到一張一維數據表；

S14，維度命名融合，將指標維度、時間維度和空間維度三個維度命名和編碼進行統(tǒng)一；

S15，目錄樹編碼與維度編碼，基于目錄樹命名融合和數據指標命名融合完成的基礎上，賦予每一級目錄樹和數據指標一個唯一編碼。

進一步的，S12中，采用以下原則對不同年份統(tǒng)計資料的數據目錄進行統(tǒng)一：原始依從原則、最新年份依從原則、時間區(qū)間注釋原則和拆分注釋原則。

進一步的，S15中，目錄樹編碼與維度編碼包括目錄樹編碼、指標維度編碼、時間維度編碼以及空間維度編碼。

進一步的，數據質量控制包括數據結構化緩存、數據質量稽核和錯誤數據校對更正三個步驟；