[發(fā)明專利]數(shù)據(jù)處理方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201711058820.6
• 申請日: 2017-11-01
• 公開（公告）號: CN107943846B
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計）人: 王永強(qiáng);哈斯布和;羅長平;張淑穎;張利斌;張秉堯;宋云平
• 申請（專利權(quán)）人: 內(nèi)蒙古科電數(shù)據(jù)服務(wù)有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23
• 代理公司: 北京威禾知識產(chǎn)權(quán)代理有限公司 11838
• 代理人: 王月玲

本發(fā)明實施例提供一種數(shù)據(jù)處理方法、裝置及電子設(shè)備。所述方法包括：接收代理接口發(fā)送的sql請求，根據(jù)所述sql請求確定待處理數(shù)據(jù)表和所述待處理數(shù)據(jù)表對應(yīng)的數(shù)據(jù)屬性信息；從預(yù)先建立的數(shù)據(jù)表加載記錄庫中查找是否存在所述待處理數(shù)據(jù)表的加載記錄；若存在，確定所述數(shù)據(jù)屬性信息是否存在于所述待處理數(shù)據(jù)表的加載記錄中；若存在，根據(jù)所述sql請求對所述待處理數(shù)據(jù)表進(jìn)行處理，并返回處理結(jié)果。所述方法采用多個分布式內(nèi)存數(shù)據(jù)庫來進(jìn)行數(shù)據(jù)的處理，通過數(shù)據(jù)表加載記錄庫記錄加載過的數(shù)據(jù)，使相同數(shù)據(jù)在內(nèi)存數(shù)據(jù)庫中無需二次加載，減少加載的數(shù)據(jù)量，提高數(shù)據(jù)處理的效率，提高了數(shù)據(jù)處理速率，同時減少了服務(wù)器負(fù)的負(fù)載壓力。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)通信領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置及電子設(shè)備。

背景技術(shù)

隨著電力行業(yè)的不斷發(fā)展以及業(yè)務(wù)量的不斷增加，產(chǎn)生了海量的數(shù)據(jù)需要企業(yè)相關(guān)人員進(jìn)行計算和分析。然而，在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)中至少存在如下問題，由于企業(yè)內(nèi)部電力資產(chǎn)相關(guān)的數(shù)據(jù)量巨大且計算公式復(fù)雜，采用現(xiàn)有數(shù)據(jù)庫進(jìn)行數(shù)據(jù)處理時，需要經(jīng)過訪問數(shù)據(jù)庫、抽取大量相關(guān)數(shù)據(jù)并生成報表等一系列步驟，而這些均依賴于硬盤進(jìn)行數(shù)據(jù)的存取，硬盤、內(nèi)存及CPU之間的數(shù)據(jù)傳輸導(dǎo)致數(shù)據(jù)處理速度大大減慢、整個過程耗費(fèi)的時間較長，企業(yè)需求不能及時的得到響應(yīng)，數(shù)據(jù)處理效率較低。

發(fā)明內(nèi)容

本發(fā)明實施例提供的數(shù)據(jù)處理方法、裝置及電子設(shè)備，用以至少解決現(xiàn)有技術(shù)中的上述問題。

本發(fā)明實施例的第一個方面提供一種數(shù)據(jù)處理方法，包括：

接收代理接口發(fā)送的sql請求，根據(jù)所述sql請求確定待處理數(shù)據(jù)表和所述待處理數(shù)據(jù)表對應(yīng)的數(shù)據(jù)屬性信息，其中，所述代理接口中存儲有各數(shù)據(jù)表與內(nèi)存數(shù)據(jù)庫的對應(yīng)關(guān)系；從預(yù)先建立的數(shù)據(jù)表加載記錄庫中查找是否存在所述待處理數(shù)據(jù)表的加載記錄；若存在所述待處理數(shù)據(jù)表的加載記錄，確定所述數(shù)據(jù)屬性信息是否存在于所述待處理數(shù)據(jù)表的加載記錄中；若所述數(shù)據(jù)屬性信息存在于所述待處理數(shù)據(jù)表的加載記錄中，根據(jù)所述sql請求對所述待處理數(shù)據(jù)表進(jìn)行處理，并返回處理結(jié)果。

可選地，所述方法還包括：若不存在所述待處理數(shù)據(jù)表的加載記錄，根據(jù)所述數(shù)據(jù)屬性信息，確定所述待處理數(shù)據(jù)表中的待加載數(shù)據(jù)；從磁盤數(shù)據(jù)庫中加載所述待處理數(shù)據(jù)表中的待加載數(shù)據(jù)；在所述數(shù)據(jù)表記載記錄庫中記錄所述待處理數(shù)據(jù)表的屬性信息和所述待處理數(shù)據(jù)表對應(yīng)的數(shù)據(jù)屬性信息。

可選地，所述方法還包括：若至少一個所述數(shù)據(jù)屬性信息不存在于所述待處理數(shù)據(jù)表的加載記錄中，根據(jù)不存在于所述待處理數(shù)據(jù)表的加載記錄中的至少一個所述數(shù)據(jù)屬性信息，確定所述待加載數(shù)據(jù)；從磁盤數(shù)據(jù)庫中加載所述待處理數(shù)據(jù)表中的待加載數(shù)據(jù)；在所述數(shù)據(jù)表記載記錄庫中更新所述待處理數(shù)據(jù)表的屬性信息和所述待處理數(shù)據(jù)表對應(yīng)的數(shù)據(jù)屬性信息。

可選地，所述方法還包括：在所述數(shù)據(jù)表記載記錄庫中更新所述待處理數(shù)據(jù)表的屬性信息。

可選地，所述方法還包括：確定所述內(nèi)存數(shù)據(jù)庫中存儲的數(shù)據(jù)表和所述數(shù)據(jù)表中存儲的數(shù)據(jù)；監(jiān)測在磁盤數(shù)據(jù)庫所述數(shù)據(jù)表中的所述數(shù)據(jù)是否發(fā)生更新；若所述數(shù)據(jù)表中的所述數(shù)據(jù)發(fā)生更新，將所述更新同步到所述內(nèi)存數(shù)據(jù)庫中存儲的所述數(shù)據(jù)表中。

本發(fā)明實施例的第二個方面提供一種數(shù)據(jù)處理裝置，包括：

接收模塊，用于接收代理接口發(fā)送的sql請求，根據(jù)所述sql請求確定待處理數(shù)據(jù)表和所述待處理數(shù)據(jù)表對應(yīng)的數(shù)據(jù)屬性信息，其中，所述代理接口中存儲有各數(shù)據(jù)表與內(nèi)存數(shù)據(jù)庫的對應(yīng)關(guān)系；查找模塊，用于從預(yù)先建立的數(shù)據(jù)表加載記錄庫中查找是否存在所述待處理數(shù)據(jù)表的加載記錄；第一確定模塊，用于若存在所述待處理數(shù)據(jù)表的加載記錄，確定所述數(shù)據(jù)屬性信息是否存在于所述待處理數(shù)據(jù)表的加載記錄中；處理模塊，用于若所述數(shù)據(jù)屬性信息存在于所述待處理數(shù)據(jù)表的加載記錄中，根據(jù)所述sql請求對所述待處理數(shù)據(jù)表進(jìn)行處理，并返回處理結(jié)果。