[發(fā)明專利]大數(shù)據(jù)分布式存儲方法、裝置、電子設(shè)備、存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911297666.7
• 申請日: 2019-12-17
• 公開（公告）號: CN111061812B
• 公開（公告）日: 2022-09-02
• 發(fā)明（設(shè)計）人: 董延峰
• 申請（專利權(quán)）人: 江蘇滿運(yùn)軟件科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F3/04817;G06F3/0486
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 潘一諾

本發(fā)明提供一種大數(shù)據(jù)分布式存儲方法、裝置、電子設(shè)備、存儲介質(zhì)，大數(shù)據(jù)分布式存儲方法包括：接收第一用戶于用戶交互界面輸入的待儲存數(shù)據(jù)源及該待儲存數(shù)據(jù)源的存儲地址；利用storm接入所述第一用戶輸入的待儲存數(shù)據(jù)源，并消費待儲存數(shù)據(jù)源的數(shù)據(jù)，將經(jīng)消費的所述待儲存數(shù)據(jù)源的數(shù)據(jù)寫入大數(shù)據(jù)集群的分布式文件系統(tǒng)；以及所述分布式文件系統(tǒng)根據(jù)該待儲存數(shù)據(jù)源的存儲地址將所寫入的待儲存數(shù)據(jù)源的數(shù)據(jù)儲存至大數(shù)據(jù)集群中。本發(fā)明提供的方法及裝置在大數(shù)據(jù)儲存過程中不存在緩存，從而實現(xiàn)實時的大數(shù)據(jù)分布式存儲。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種大數(shù)據(jù)分布式存儲方法、裝置、電子設(shè)備、存儲介質(zhì)。

背景技術(shù)

近年來，隨著信息時代的到來，對于大數(shù)據(jù)的相關(guān)數(shù)據(jù)處理能力對信息技術(shù)的發(fā)展尤為重要。

在大數(shù)據(jù)早期，對大數(shù)據(jù)的計算能力沒有太多時間上的要求，對關(guān)系型數(shù)據(jù)庫解決不了的海量數(shù)據(jù)計算，只要能夠穩(wěn)定計算完成即可，但是隨著大數(shù)據(jù)技術(shù)棧的發(fā)展和原有技術(shù)的向前迭代，大數(shù)據(jù)用戶對數(shù)據(jù)計算效率有了新的要求。

大數(shù)據(jù)技術(shù)目前主要使用分布式的模式在多臺機(jī)器上并行計算，解決了以前關(guān)系型數(shù)據(jù)庫解決不了的海量數(shù)據(jù)問題，利用hive(基于Hadoop的一個數(shù)據(jù)倉庫工具)或spark(專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎)等計算引擎可以很快且穩(wěn)定的輸出結(jié)果。

目前，大數(shù)據(jù)集群使用多臺物理機(jī)提供分布式的數(shù)據(jù)存儲能力，數(shù)據(jù)要存儲在大數(shù)據(jù)文件系統(tǒng)，使用文件上傳的方式將單個或多個文件上傳至分布式文件系統(tǒng)(hdfs)中，但是這種方式存在一定的數(shù)據(jù)延遲，要提前將文件寫完才能上傳；如果一個文件過大，那么可能會有小時級別的數(shù)據(jù)延遲。例如，在一些現(xiàn)有技術(shù)中，采用spark streaming技術(shù)來實現(xiàn)這一個功能的。然而，由于spark steaming技術(shù)是微批處理，這種微批的處理方式在spark內(nèi)部也會延遲一個批次，沒有實現(xiàn)真正的實時數(shù)據(jù)寫入；即存在一定程度的數(shù)據(jù)延遲，批次間隔越大，數(shù)據(jù)量越大，延遲就越大。由此可見，spark streaming技術(shù)實際上是一種偽實時的儲存方式。如此，海量數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)平臺上非常耗時，如果計算耗時很快，但是數(shù)據(jù)傳輸很慢，則會使大數(shù)據(jù)產(chǎn)出很慢，整體性能得不到提升。

由此可見，在大數(shù)據(jù)的相關(guān)數(shù)據(jù)處理能力中，大數(shù)據(jù)的存儲傳輸能力是大數(shù)據(jù)算法的基石。如何實現(xiàn)數(shù)據(jù)存儲的實時性提升，以帶動整條鏈路的計算效率，從而滿足用戶對數(shù)據(jù)時效的要求是本領(lǐng)域亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明為了克服上述相關(guān)技術(shù)存在的缺陷，提供一種大數(shù)據(jù)分布式存儲方法、裝置、電子設(shè)備、存儲介質(zhì)，進(jìn)而至少在一定程度上克服由于相關(guān)技術(shù)的限制和缺陷而導(dǎo)致的一個或者多個問題。

根據(jù)本發(fā)明的一個方面，提供一種大數(shù)據(jù)分布式存儲方法，包括：

接收第一用戶于用戶交互界面輸入的待儲存數(shù)據(jù)源及該待儲存數(shù)據(jù)源的存儲地址；

利用storm接入所述第一用戶輸入的待儲存數(shù)據(jù)源，并消費待儲存數(shù)據(jù)源的數(shù)據(jù)，將經(jīng)消費的所述待儲存數(shù)據(jù)源的數(shù)據(jù)寫入大數(shù)據(jù)集群的分布式文件系統(tǒng)；以及

所述分布式文件系統(tǒng)根據(jù)該待儲存數(shù)據(jù)源的存儲地址將所寫入的待儲存數(shù)據(jù)源的數(shù)據(jù)儲存至大數(shù)據(jù)集群中。

在本發(fā)明的一些實施例中，所述用戶交互界面于網(wǎng)頁上提供。

在本發(fā)明的一些實施例中，所述接收第一用戶于用戶交互界面輸入的待儲存數(shù)據(jù)源及該待儲存數(shù)據(jù)源的存儲地址之后，且所述利用storm接入所述第一用戶輸入的待儲存數(shù)據(jù)源，并消費待儲存數(shù)據(jù)源的數(shù)據(jù)，將經(jīng)消費的所述待儲存數(shù)據(jù)源的數(shù)據(jù)寫入大數(shù)據(jù)集群的分布式文件系統(tǒng)之前，還包括：

接收第二用戶對所述第一用戶輸入的待儲存數(shù)據(jù)源及該待儲存數(shù)據(jù)源的存儲地址的審核數(shù)據(jù)。