[發明專利]大數據分布式存儲方法、裝置、電子設備、存儲介質

有效

• 申請號: 201911297666.7
• 申請日: 2019-12-17
• 公開（公告）號: CN111061812B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 董延峰
• 申請（專利權）人: 江蘇滿運軟件科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F3/04817;G06F3/0486
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 潘一諾

1.一種大數據分布式存儲方法，其特征在于，包括：

接收第一用戶于用戶交互界面輸入的待儲存數據源及該待儲存數據源的存儲地址；

利用storm接入所述第一用戶輸入的待儲存數據源，并消費待儲存數據源的數據，將經消費的所述待儲存數據源的數據寫入大數據集群的分布式文件系統；以及

所述分布式文件系統根據該待儲存數據源的存儲地址將所寫入的待儲存數據源的數據儲存至大數據集群中，

其中，所述用戶交互界面提供待儲存數據源及該待儲存數據源的存儲地址關聯關系的可視化展示，所述大數據分布式存儲方法還包括：

實時接收第一用戶于所述用戶交互界面對待儲存數據源及該待儲存數據源的存儲地址之間關聯關系的修改，以使所述分布式文件系統根據經修改的待儲存數據源及該待儲存數據源的存儲地址之間關聯關系，將待儲存數據源的數據儲存至大數據集群中，

所述待儲存數據源以第一圖標顯示于所述用戶交互界面，所述存儲地址以第二圖標顯示于所述用戶交互界面，

其中，接收第一用戶對所述第一圖標的拖曳操作，當所述第一圖標與一第二圖標之間的距離小于第一預定距離時，生成該第一圖標與該第二圖標之間的可視化連線，并使自動使該第一圖標顯示于該第二圖標的第二預定距離處，從而生成該第一圖標的待儲存數據源與該第二圖標的存儲地址之間的關聯關系，

其中，當該第二圖標的存儲地址對應關聯多個待儲存數據源時，各第一圖標基于關聯關系建立的時間，按順時針順序，以放射狀顯示于第二圖標的周圍。

2.如權利要求1所述的大數據分布式存儲方法，其特征在于，所述用戶交互界面于網頁上提供。

3.如權利要求1所述的大數據分布式存儲方法，其特征在于，所述接收第一用戶于用戶交互界面輸入的待儲存數據源及該待儲存數據源的存儲地址之后，且所述利用storm接入所述第一用戶輸入的待儲存數據源，并消費待儲存數據源的數據，將經消費的所述待儲存數據源的數據寫入大數據集群的分布式文件系統之前，還包括：

接收第二用戶對所述第一用戶輸入的待儲存數據源及該待儲存數據源的存儲地址的審核數據。

4.如權利要求1所述的大數據分布式存儲方法，其特征在于，所述利用storm接入所述第一用戶輸入的待儲存數據源，并消費待儲存數據源的數據，將經消費的所述待儲存數據源的數據寫入大數據集群的分布式文件系統包括：

基于ack機制消費待儲存數據源的數據，并將經消費的所述待儲存數據源的數據寫入大數據集群的分布式文件系統；和/或

基于反壓機制消費待儲存數據源的數據，并將經消費的所述待儲存數據源的數據寫入大數據集群的分布式文件系統。

5.如權利要求1所述的大數據分布式存儲方法，其特征在于，所述實時接收第一用戶于所述用戶交互界面對待儲存數據源及該待儲存數據源的存儲地址之間關聯關系的修改包括：

實時接收所述第一用戶于所述用戶交互界面對已呈放射狀顯示于第二圖標周圍的第一圖標的選擇，釋放該第一圖標的待儲存數據源與該第二圖標的存儲地址之間的關聯關系，消除該第一圖標與該第二圖標之間的可視化連線，并使該第二圖標的存儲地址在該第一圖標的待儲存數據源重新關聯一第二圖標的存儲地址之前，對該第一圖標的待儲存數據源保持鎖定；

接收第一用戶對該第一圖標的拖曳操作，當該第一圖標與另一第二圖標之間的距離小于所述第一預定距離時，生成該第一圖標與該另一第二圖標之間的可視化連線，并使自動使該第一圖標顯示于該另一第二圖標的第二預定距離處，從而生成該第一圖標的待儲存數據源與該另一第二圖標的存儲地址之間的關聯關系。