[發(fā)明專利]一種數(shù)據(jù)處理方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811448773.0
• 申請日: 2018-11-28
• 公開（公告）號: CN109558417B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設計）人: 湯仕忠
• 申請（專利權(quán)）人: 亞信科技（南京）有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/28;G06F16/951
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本發(fā)明公開了一種數(shù)據(jù)處理方法和系統(tǒng)，通過獲取關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)，初始化所述數(shù)據(jù)得到初始化數(shù)據(jù)，并將所述初始化數(shù)據(jù)發(fā)送至消息隊列，獲取所述關(guān)系型數(shù)據(jù)庫中的事務日志，處理并得到處理后的事務日志，將所述處理后的事務日志發(fā)送至所述消息隊列，獲取所述消息隊列中的所述處理后的事務日志和所述初始化數(shù)據(jù)，基于所述處理后的事務日志對所述初始化數(shù)據(jù)進行實時處理，獲得事務流實時數(shù)據(jù)，將所述事務流實時數(shù)據(jù)同步存儲于搜索引擎和第三方平臺。因此，通過本發(fā)明公開的數(shù)據(jù)處理方法進行處理后，海量的物聯(lián)網(wǎng)卡數(shù)據(jù)系統(tǒng)間的同步效率和實時性均得到提升。

技術(shù)領(lǐng)域

本發(fā)明涉及物聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體為一種數(shù)據(jù)處理方法和系統(tǒng)。

背景技術(shù)

物聯(lián)網(wǎng)是一個基于互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等信息承載體，讓所有能夠被獨立尋址的普通物理對象實現(xiàn)互聯(lián)互通的網(wǎng)絡。它具有普通對象設備化、自治終端互聯(lián)化和服務智能化三個重要特征。

現(xiàn)有的物聯(lián)網(wǎng)技術(shù)框架中，海量的物聯(lián)網(wǎng)卡數(shù)據(jù)存儲于關(guān)系型數(shù)據(jù)庫中。涉及到多個平臺或模塊數(shù)據(jù)同步時，很多都通過文件接口同步，且對物聯(lián)網(wǎng)卡數(shù)據(jù)的批量檢索是通過關(guān)系型數(shù)據(jù)庫sql語句完成。

但是，在現(xiàn)有的技術(shù)框架中，海量的物聯(lián)網(wǎng)卡數(shù)據(jù)系統(tǒng)間的同步，是通過文件接口完成同步，而文件接口存在傳輸速度限制，以至于其同步過程效率低下，且實時性很低，以及對大量的物聯(lián)網(wǎng)卡數(shù)據(jù)檢索時，由于關(guān)系型數(shù)據(jù)庫通過sql語句完成，存在數(shù)據(jù)庫的局限性，以至于檢索效率十分低下。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供了一種數(shù)據(jù)處理方法和系統(tǒng)，通過數(shù)據(jù)處理方法對數(shù)據(jù)的處理，實現(xiàn)海量的物聯(lián)網(wǎng)卡數(shù)據(jù)系統(tǒng)間的同步和提高對大量的物聯(lián)網(wǎng)卡數(shù)據(jù)檢索效率的目的。

為實現(xiàn)上述目的，本發(fā)明實施例提供如下技術(shù)方案：

本發(fā)明第一方面公開了一種數(shù)據(jù)處理方法，包括：

獲取關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)，初始化所述數(shù)據(jù)得到初始化數(shù)據(jù)，并將所述初始化數(shù)據(jù)發(fā)送至消息隊列；

獲取所述關(guān)系型數(shù)據(jù)庫中的事務日志，處理并得到處理后的事務日志，將所述處理后的事務日志發(fā)送至所述消息隊列；

獲取所述消息隊列中的所述處理后的事務日志和所述初始化數(shù)據(jù)，基于所述處理后的事務日志對所述初始化數(shù)據(jù)進行實時處理，獲得事務流實時數(shù)據(jù)；

將所述事務流實時數(shù)據(jù)同步存儲于搜索引擎和第三方平臺。

優(yōu)選的，還包括：

基于物聯(lián)網(wǎng)卡平臺發(fā)出的檢索請求，對存儲在搜索引擎中的所述事務流實時數(shù)據(jù)進行檢索，確定對應所述檢索請求的檢索數(shù)據(jù)。

優(yōu)選的，若所述關(guān)系型數(shù)據(jù)庫為mysql關(guān)系型數(shù)據(jù)庫，所述獲取所述關(guān)系型數(shù)據(jù)庫中的事務日志，處理并得到處理后的事務日志，將所述處理后的事務日志發(fā)送至所述消息隊列，包括：

獲取所述關(guān)系型數(shù)據(jù)庫中的事務日志；

解析所述事務日志，并在所述事務日志中補充特定信息；

封裝處理補充特定信息后的事務日志，得到處理后的事務日志；

將所述處理后的事務日志發(fā)送至所述消息隊列。

優(yōu)選的，若所述關(guān)系型數(shù)據(jù)庫為oracle關(guān)系型數(shù)據(jù)庫，所述獲取所述關(guān)系型數(shù)據(jù)庫中的事務日志，處理并得到處理后的事務日志，將所述處理后的事務日志發(fā)送至所述消息隊列，包括：

獲取所述關(guān)系型數(shù)據(jù)庫中的事務日志；

將所述事務日志按照預先設定的消息格式封裝處理，得到處理后的事務日志；

將所述處理后的事務日志發(fā)送至所述消息隊列。

優(yōu)選的，所述將所述事務流實時數(shù)據(jù)同步存儲于搜索引擎，包括：