[發明專利]一種基于thrift的大數據跨平臺實時處理方法

有效

• 申請號: 201710108944.4
• 申請日: 2017-02-27
• 公開（公告）號: CN106953847B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 張啟亮;李凱;張毅;周林林;王飛
• 申請（專利權）人: 江蘇徐工信息技術股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 徐州市三聯專利事務所 32220
• 代理人: 周愛芳

本發明公開一種基于thrift的大數據跨平臺實時處理方法，包括SSL認證模塊、授權認證模塊、實時數據查詢模塊、歷史數據查詢模塊以及下發指令模塊，基于thrift的大數據跨平臺實時處理方法的具體步驟如下：首先，用戶根據SSL認證模塊進行數據的訪問，若SSL授權通過之后，則進行授權認證模塊的認證，判斷是否擁有車輛信息的操作權限；其次，若授權認證通過，則可進行實時數據、歷史數據或下發指令的操作；反之，告知用戶不具備訪問權限；最后，將請求的相應結果返回給用戶，并記錄每一步的操作日志。本發明解決了傳統解決方案存在的弊端，更靈活更實用。

技術領域

本發明涉及一種基于thrift的大數據跨平臺實時處理方法，屬于數據處理技術領域。

背景技術

隨著汽車產業的飛速發展、車輛數量的大幅提升，如何獲取更多車輛信息、實現對車輛的遠程控制，成為車輛生命周期上各個環節機構的首要問題。傳統的車輛管理系統可以做到提供用戶所需的車輛信息，但由于各級用戶側重點不同，導致了其對車輛各項數據的關注度有巨大的差異，而從海量數據里分離出各自所需的數據會給用戶帶來了不便，并且由于傳統車輛管理系統的數據儲存機制，導致數據量越來越龐大，對車輛實時信息的讀取和歷史數據的分析更是難上加難。如何快速查詢信息、分析歷史數據、下發指令等功能給客戶，是目前亟待解決的問題。

目前，工程機械行業中對車輛信息的管理，一般采用的方式是：車輛關系數據庫，使用分庫分表存儲；前端應用將關系數據庫中車輛實時數據、歷史數據展現；前端應用遠程下發指令到終端。這種方式能解決傳統的數據處理和數據存儲問題，但當存在海量數據需要處理時，計算機性能和數據存儲上都會遇到瓶頸，只能通過提高服務器配置，購買昂貴的硬件設施等方式來解燃眉之急，然而也只能暫時解決問題，無法從根本上解決問題；而且當前端應用編程語言改變，必須重新編寫應用代碼，開發者的工作量要增加，用戶的體驗也不好。

發明內容

針對上述現有技術存在的問題，本發明提供一種基于thrift的大數據跨平臺實時處理方法，可解決傳統解決方案存在的弊端，并且更靈活更實用。

為了實現上述目的，本發明采用的一種基于thrift的大數據跨平臺實時處理方法，包括SSL認證模塊、授權認證模塊、實時數據查詢模塊、歷史數據查詢模塊以及下發指令模塊，SSL認證模塊用于認證用戶和服務器，確保數據發送到正確的客戶機和服務器，并且將數據加密以防止數據中途被竊取，維護數據的完整性，確保數據在傳輸過程中不被改變；授權認證模塊用于通過業務邏輯驗證訪問者是否擁有對車輛信息的查詢及管理權限，拒絕無效訪問者，避免數據信息的泄露；實時數據查詢模塊用于將車輛的實時數據信息提供給訪問者，進行高并發、緩存機制處理，保證數據信息的及時性；歷史數據查詢模塊用于將存儲的車輛歷史數據提供給訪問者，簡化訪問方式，給客戶更高效的使用效率；下發指令模塊用于將指令準確的發送給終端，統一對終端的命令操作，解決使用者的多個入口，避免下發指令的混亂；基于thrift的大數據跨平臺實時處理方法的具體步驟如下：

首先，用戶根據SSL認證模塊進行數據的訪問，若SSL授權通過之后，則進行授權認證模塊的認證，判斷是否擁有車輛信息的操作權限；

其次，若授權認證通過，則可進行實時數據、歷史數據或下發指令的操作；反之，告知用戶不具備訪問權限；

最后，將請求的相應結果返回給用戶，并記錄每一步的操作日志。

所述實時數據查詢模塊采用緩存技術redis與界面進行實時交互，其中，redis指高性能的“鍵值對”存儲系統。

所述歷史數據查詢模塊采用了hadoop的Hbase技術進行分布式存儲。其中，Hbase是分布式的、面向列的開源數據庫。