[發明專利]數據存儲方法和裝置

有效

• 申請號: 201611245644.2
• 申請日: 2016-12-29
• 公開（公告）號: CN108255855B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 相利;王昌坤
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/11
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種數據存儲方法，其特征在于，所述方法包括：

從文件系統的目錄中實時獲取目標數據；

將所述目標數據保存在分布式數據庫的數據目錄中；

將所述目標數據從所述數據目錄加載到所述分布式數據庫的預先建立的外部表中；

所述將所述目標數據從所述數據目錄加載到所述分布式數據庫的預先建立的外部表中之后，所述方法還包括：

將所述目標數據從所述外部表加載到所述分布式數據庫的預先建立的內部表中，其中所述外部表的字段與所述內部表的字段相同。

2.根據權利要求1所述的方法，其特征在于，

所述將所述目標數據從所述外部表加載到所述分布式數據庫的預先建立的內部表中之后，所述方法還包括：

刪除所述外部表中的所述目標數據。

3.根據權利要求1所述的方法，其特征在于，

所述將所述目標數據從所述外部表加載到所述分布式數據庫的預先建立的內部表中之后，所述方法還包括：

刪除所述數據目錄中的所述目標數據；和/或，

刪除所述文件系統的目錄中的所述目標數據。

4.根據權利要求1所述的方法，其特征在于，

所述目標數據由Spark Streaming計算框架進行數據處理后得到。

5.根據權利要求1至4任一項所述的方法，其特征在于，

所述分布式數據庫為GreenPlum集群，所述文件系統為Hadoop分布式文件系統HDFS，所述文件系統的目錄為/gpdata目錄。

6.一種數據存儲裝置，其特征在于，所述裝置包括：

獲取單元，用于從文件系統的目錄中實時獲取目標數據；

保存單元，用于將所述目標數據保存在分布式數據庫的數據目錄中；

第一加載單元，用于將所述目標數據從所述數據目錄加載到所述分布式數據庫的預先建立的外部表中；

所述裝置還包括：

第二加載單元，用于將所述目標數據從所述外部表加載到所述分布式數據庫的預先建立的內部表中，其中所述外部表的字段與所述內部表的字段相同。

7.根據權利要求6所述的裝置，其特征在于，

刪除單元，還用于刪除所述數據目錄中的所述目標數據；和/或，刪除所述文件系統的目錄中的所述目標數據。

8.根據權利要求6至7任一項所述的裝置，其特征在于，

所述分布式數據庫為GreenPlum集群，所述文件系統為Hadoop分布式文件系統HDFS，所述文件系統的目錄為/gpdata目錄。