[發(fā)明專利]一種海量數(shù)據(jù)平臺與大數(shù)據(jù)平臺融合方法

有效

• 申請?zhí)枺?/td>: 201810496314.3
• 申請日: 2018-05-22
• 公開（公告）號: CN108959369B
• 公開（公告）日: 2021-11-30
• 發(fā)明（設(shè)計）人: 韓嘉佳;猶鋒;周升;張曉曉;倪陽旦;張珂珩;孫歆;張高坤;李景;李賢慧;戴樺;李沁園;汪自翔;呂磅;李霽遠(yuǎn);王劉旺
• 申請（專利權(quán)）人: 國網(wǎng)浙江省電力有限公司電力科學(xué)研究院;國網(wǎng)浙江省電力有限公司;江蘇瑞中數(shù)據(jù)股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25;G06F16/22;G06Q50/06
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 張弛

1.一種海量數(shù)據(jù)平臺與大數(shù)據(jù)平臺融合方法，其特征在于，所述大數(shù)據(jù)平臺包括數(shù)據(jù)采集層、數(shù)據(jù)緩存層和數(shù)據(jù)存儲層；所述融合方法包括：

數(shù)據(jù)采集層采用分布式消息隊列Kafka機(jī)制，實現(xiàn)海量數(shù)據(jù)平臺的測點數(shù)據(jù)與大數(shù)據(jù)平臺的傳輸；

數(shù)據(jù)緩存層采用REDIS鍵值型內(nèi)存數(shù)據(jù)庫，存儲海量數(shù)據(jù)平臺的測點數(shù)據(jù)，實現(xiàn)應(yīng)用端數(shù)據(jù)查詢和數(shù)據(jù)寫入需求；

數(shù)據(jù)存儲層采用HBASE列式存儲，結(jié)合測點數(shù)據(jù)時序特征，對測點數(shù)據(jù)特征進(jìn)行列式存儲；

所述數(shù)據(jù)采集層包括實時數(shù)據(jù)處理模塊，通過數(shù)據(jù)采集層對數(shù)據(jù)采集的方法包括：

對測點ID哈希，將測點數(shù)據(jù)均勻地分發(fā)到相應(yīng)的消息隊列；

所述消息隊列中的數(shù)據(jù)量達(dá)到第一閥值或者達(dá)到預(yù)定時間后，向?qū)崟r數(shù)據(jù)處理模塊發(fā)布；

實時數(shù)據(jù)處理模塊讀取數(shù)據(jù)后，存入數(shù)據(jù)緩存層，并寫入數(shù)據(jù)存儲層，同時提供數(shù)據(jù)實時查詢模塊；

所述實時數(shù)據(jù)處理模塊向用戶提供數(shù)據(jù)查詢接口，通過數(shù)據(jù)查詢接口對數(shù)據(jù)查詢的方法包括：

用戶查詢實時數(shù)據(jù)時，通過實時數(shù)據(jù)查詢模塊在數(shù)據(jù)緩存層REDIS中進(jìn)行查詢，判斷數(shù)據(jù)緩存層REDIS是否存有數(shù)據(jù)，如果有，則返回查詢結(jié)果，如果沒有，則進(jìn)入到數(shù)據(jù)存儲層HBASE中查詢并返回查詢結(jié)果；

所述融合方法包括將海量數(shù)據(jù)平臺數(shù)據(jù)庫中的測點信息遷移到大數(shù)據(jù)平臺關(guān)系庫中；

將海量數(shù)據(jù)平臺數(shù)據(jù)庫中的測點信息遷移到大數(shù)據(jù)平臺關(guān)系庫的方法包括將海量平臺數(shù)據(jù)庫中的測點信息的ID保留到海量平臺數(shù)據(jù)庫中，在大數(shù)據(jù)平臺關(guān)系庫的測點信息表中，重新生成ID；

所述大數(shù)據(jù)平臺設(shè)置UAPI接口，UAPI接口包括BYID接口和BYNAME接口，應(yīng)用端使用BYNAME接口進(jìn)行操作，通過BYNAME接口在大數(shù)據(jù)平臺關(guān)系庫中通過NAME查找到ID，進(jìn)入BYID接口中進(jìn)行操作；

所述UAPI接口包括UAPI查詢接口，所述UAPI查詢接口包括斷面查詢接口和批量查詢接口，所述數(shù)據(jù)查詢的方法包括：

應(yīng)用端使用UAPI查詢接口發(fā)出查詢數(shù)據(jù)請求，在大數(shù)據(jù)平臺的數(shù)據(jù)緩存層REDIS中查找數(shù)據(jù)，如果查找到數(shù)據(jù)則返回；

如果未查找到，則根據(jù)UAPI查詢接口類型在數(shù)據(jù)存儲層HBASE中查找對應(yīng)表，查詢對應(yīng)的數(shù)據(jù)；

所述UAPI接口包括UAPI寫值接口，通過UAPI寫值接口對數(shù)據(jù)寫入的方法包括：

通過UAPI寫值接口將數(shù)據(jù)寫入Kafka緩存區(qū)中，將Kafka緩存區(qū)中的數(shù)據(jù)分別寫成兩份，包括第一份和第二份；所述第一份寫入HDFS大文件中，數(shù)據(jù)量超過第二閾值后，再分為兩份分別寫入數(shù)據(jù)存儲層HBASE的斷面表和時序表中；

所述第二份寫入數(shù)據(jù)緩存層REDIS中，以供應(yīng)用端通過UAPI查詢接口查詢還未寫入數(shù)據(jù)存儲層HBASE中的數(shù)據(jù)。