[發明專利]一種基于數據湖的智能公交運營方法及系統

有效

• 申請號: 202110457082.2
• 申請日: 2021-04-27
• 公開（公告）號: CN113158246B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 張世強;錢貴濤;孫宏飛;李峰巍;趙巖
• 申請（專利權）人: 華錄智達科技股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/60;G06Q50/26;G06F16/215
• 代理公司: 大連至誠專利代理事務所(特殊普通合伙) 21242
• 代理人: 張海燕;謝冰

本發明公開了一種基于數據湖的智能公交運營方法及系統，通過給公交運營系統上傳的數據包配置對應的數據字段校驗碼來對數據進行加密，數據字段校驗碼中包含了配對使用的加密校驗碼和標準驗證碼，再通過標準驗證碼解密加密校驗碼以獲取數據包內的公交基礎數據。為了去除垃圾數據和重復數據以減少冗余數據，減少存儲空間，對公交基礎數據進行數據預處理。為了便于數據調用，將數據湖分割為不同的數據池來存儲不同類型的數據，再在數據池中建立數據電子目錄，用戶通過數據電子目錄調用數據從而極大的提高調用效率。

技術領域

本發明涉及公交車運移管理技術領域，尤其涉及一種基于數據湖的智能公交運營方法及系統。

背景技術

隨著大數據分析技術的不斷發展進步，對于公交企業或者組織來說，數據已經成為一類重要資產；為了對數據進行有效管理，目前的用戶多采用大數據平臺進行管理，但是現有的大數據平臺對于原樣數據的存儲、有效管理與集中治理，特別是數據追溯調用等均提出了挑戰，就需要研究一種更適合智能公交使用的運營數據管理形式，以滿足其處理大規模數據所需的存儲和計算能力，并為用戶提供多模式的數據處理能力。

數據湖相對于傳統的關系型數據庫所具備的優勢，首先是能夠把不同種類的數據匯集到了一起，其次它將很多原本無法用作分析的數據變得不需要預定義的模型就可以提取使用。然而數據湖架構也存在缺點，其一，數據湖中很多數據永遠不會刪除，所需存儲空間架構龐大。其二，信息安全問題。數據湖架構可看作是將所有雞蛋放進一個籃子里，如果其中一些數據的安全被破壞，那么數據湖中所有數據將面臨風險。

發明內容

本發明提供一種基于數據湖的智能公交運營方法及系統，以克服上述技術問題。

本發明一種基于數據湖的智能公交運營方法，包括：

獲取公交運營系統上傳的數據包，所述數據包為公交系統運行管理過程所產生的公交基礎數據且配置對應的數據字段校驗碼；所述數據字段校驗碼包括：加密校驗碼以及與所述加密校驗碼配對的標準驗證碼；所述數據包中的數據類型包括：結構化數據、半結構化數據及非結構化數據；

根據所述加密校驗碼基于解密算法獲取標準驗證碼，并通過所述標準驗證碼解密所述數據包內的公交基礎數據；

對所述公交基礎數據進行數據預處理，以去除垃圾數據和重復數據，并提高數據質量；

將數據湖根據不同的數據類型分割為不同的數據池，將完成數據預處理后的所述公交基礎數據分類存儲至對應的數據池中；

在所述不同的數據池中分別根據所述公交基礎數據建立數據電子目錄，并將所述公交基礎數據按照所述數據電子目錄存儲至對應的存儲空間；所述數據電子目錄用于記載數據池中的數據類型屬性、存儲位置及數據關聯信息；

用戶根據所述數據電子目錄調用所述公交基礎數據使用。

進一步地，所述數據字段校驗碼基于DES對稱密碼算法進行加解密。

進一步地，所述對所述公交基礎數據進行數據預處理，包括：對所述公交基礎數據進行刪除重復數據、數據壓縮、內插、過濾、抽樣、近似、編碼、分類及設閾值操作。

進一步地，所述將數據湖根據不同的數據類型分割為不同的數據池，包括：將數據湖分割為結構化數據池、半結構化數據池及非結構化數據池；

所述結構化數據池，用于存儲公交基礎數據、公交配置數據、行駛區域地域數據以及用戶個人信息數據；

所述半結構化數據池，用于存儲HTML頁面文件及文件格式為CSV、XML、JSON的日志類文件；

所述非結構化數據池，用于存儲公交辦公系統內的電子郵件、文檔、圖形、音視頻以及消息和指令數據。

進一步地，通過式(1)將數據湖根據不同的數據類型分割為不同的數據池；