[發(fā)明專(zhuān)利]湖倉(cāng)一體系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211736751.0
• 申請(qǐng)日: 2022-12-30
• 公開(kāi)（公告）號(hào): CN116166191A
• 公開(kāi)（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 王維峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)電信股份有限公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06;G06F16/28
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 任亞娟

本發(fā)明實(shí)施例提供了一種湖倉(cāng)一體系統(tǒng)，該系統(tǒng)包括：存儲(chǔ)計(jì)算模塊，所述存儲(chǔ)計(jì)算模塊包括：計(jì)算單元和湖倉(cāng)統(tǒng)一存儲(chǔ)單元；所述湖倉(cāng)統(tǒng)一存儲(chǔ)單元是將數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖融合后形成的，用于進(jìn)行數(shù)據(jù)存儲(chǔ)；所述計(jì)算單元用于進(jìn)行數(shù)據(jù)計(jì)算。上述方案，能夠?qū)崿F(xiàn)計(jì)算資源和存儲(chǔ)資源的分離，快速按需為用戶(hù)提供計(jì)算服務(wù)或者存儲(chǔ)服務(wù)，打造儲(chǔ)算分離的存儲(chǔ)計(jì)算環(huán)境，使系統(tǒng)能夠擴(kuò)展到更大規(guī)模的并發(fā)能力和數(shù)據(jù)容量，有效降低了能耗。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種湖倉(cāng)一體系統(tǒng)。

背景技術(shù)

為了研究數(shù)據(jù)之間的關(guān)系，挖掘數(shù)據(jù)隱藏的價(jià)值，需要將數(shù)據(jù)進(jìn)行“開(kāi)采/儲(chǔ)存”即數(shù)據(jù)的收集儲(chǔ)存，其次進(jìn)行“精煉”即數(shù)據(jù)的挖掘和分析，最終實(shí)現(xiàn)數(shù)據(jù)創(chuàng)造更多價(jià)值。數(shù)據(jù)倉(cāng)庫(kù)的作用能實(shí)現(xiàn)跨業(yè)務(wù)條線、跨系統(tǒng)的數(shù)據(jù)整合，為管理分析和業(yè)務(wù)決策提供統(tǒng)一的數(shù)據(jù)支持。企業(yè)通常依靠昂貴且私有的本地?cái)?shù)據(jù)倉(cāng)庫(kù)解決方案來(lái)存儲(chǔ)和分析數(shù)據(jù)，由于模型范式的要求，底層數(shù)據(jù)無(wú)法做到多樣變化，導(dǎo)致企業(yè)業(yè)務(wù)不能隨意變遷。

同時(shí)隨著互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)的爆發(fā)，數(shù)據(jù)量從TB到PB到EB級(jí)，數(shù)據(jù)類(lèi)型更是涵蓋結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，并且用戶(hù)對(duì)地域性、及時(shí)性的要求愈發(fā)苛刻，使得傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)方案需要更新，催生了數(shù)據(jù)湖技術(shù)。

數(shù)據(jù)湖是一個(gè)存儲(chǔ)企業(yè)各種各樣原始數(shù)據(jù)的大型倉(cāng)庫(kù)，可供數(shù)據(jù)存取、處理、分析以及傳輸，可看作一種大型數(shù)據(jù)存儲(chǔ)庫(kù)和處理引擎。相比于數(shù)據(jù)倉(cāng)庫(kù)而言，數(shù)據(jù)湖存儲(chǔ)容量更大，數(shù)據(jù)類(lèi)型更為豐富，增加了對(duì)半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的支持，同時(shí)對(duì)所有數(shù)據(jù)進(jìn)行集中式存儲(chǔ)。并具有龐大的PB級(jí)數(shù)據(jù)存儲(chǔ)規(guī)模以及計(jì)算能力，提供多元化數(shù)據(jù)信息交叉分析，及大容量高速度的數(shù)據(jù)管道。而數(shù)據(jù)湖架構(gòu)本身缺少對(duì)數(shù)據(jù)監(jiān)管、控制和必要的治理手段，導(dǎo)致運(yùn)維成本不斷增加，數(shù)據(jù)治理效率降低。長(zhǎng)此以往，企業(yè)落入了“數(shù)據(jù)沼澤”的境地。隨著企業(yè)數(shù)字化轉(zhuǎn)型的深化，跨多業(yè)務(wù)、多數(shù)據(jù)類(lèi)型的新型應(yīng)用場(chǎng)景不斷涌現(xiàn)，海量大數(shù)據(jù)場(chǎng)景下的實(shí)時(shí)處理、非結(jié)構(gòu)化數(shù)據(jù)治理等需求，給企業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施帶來(lái)了新的挑戰(zhàn)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種湖倉(cāng)一體系統(tǒng)，以解決上述問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供了一種湖倉(cāng)一體系統(tǒng)，包括：

存儲(chǔ)計(jì)算模塊，所述存儲(chǔ)計(jì)算模塊包括：計(jì)算單元和湖倉(cāng)統(tǒng)一存儲(chǔ)單元；

所述湖倉(cāng)統(tǒng)一存儲(chǔ)單元是將數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖融合后形成的，用于進(jìn)行數(shù)據(jù)存儲(chǔ)；

計(jì)算單元用于進(jìn)行數(shù)據(jù)計(jì)算。

可選的，所述計(jì)算單元包括：云原生計(jì)算資源單元；

所述云原生計(jì)算資源單元用于對(duì)第一數(shù)據(jù)進(jìn)行聚合快照處理，得到第一快照數(shù)據(jù)，所述第一快照數(shù)據(jù)用于索引第一數(shù)據(jù)信息，所述第一數(shù)據(jù)信息包括：所述第一數(shù)據(jù)的位置信息和內(nèi)容信息。

可選的，所述計(jì)算單元還包括：匯總單元；

所述匯總單元包括：匯總層、中間層和整合層；

所述匯總層用于存儲(chǔ)指標(biāo)率數(shù)據(jù)和標(biāo)簽率數(shù)據(jù)。

可選的，還包括：數(shù)據(jù)源模塊和數(shù)據(jù)采集模塊；

所述數(shù)據(jù)采集模塊包括：實(shí)時(shí)入湖單元和數(shù)據(jù)文件單元；

所述數(shù)據(jù)文件單元用于將所述數(shù)據(jù)源模塊中的數(shù)據(jù)文件傳輸至所述實(shí)時(shí)入湖單元；

所述實(shí)時(shí)入湖單元用于將所述數(shù)據(jù)文件進(jìn)行數(shù)據(jù)處理后傳輸至所述湖倉(cāng)統(tǒng)一存儲(chǔ)單元。

可選的，所述數(shù)據(jù)采集模塊還包括：日志采集單元；

所述日志采集單元用于通過(guò)采集工具獲取日志數(shù)據(jù)，并將所述日志數(shù)據(jù)生成消息數(shù)據(jù)，并將所述消息數(shù)據(jù)傳輸至所述實(shí)時(shí)入湖單元以及所述計(jì)算單元中的實(shí)時(shí)分析單元；