[發明專利]一種存儲數據的方法及裝置

在審

• 申請號: 202010693076.2
• 申請日: 2020-07-17
• 公開（公告）號: CN111797279A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 馮智超
• 申請（專利權）人: 西安數據如金信息科技有限公司
• 主分類號: G06F16/84
• 分類號: G06F16/84
• 代理公司: 北京超成律師事務所 11646
• 代理人: 裴素英

1.一種存儲數據的方法，其特征在于，包括：

針對待存儲半結構化數據集中的每條半結構化數據，依據該半結構化數據包含的字段，對該字段包含的內容進行編碼，得到編碼字段內容；

分別以各字段為列構建數據庫表，將半結構化數據對應的各編碼字段內容存儲至數據庫表中該半結構化數據對應的行列，每條半結構化數據對應數據庫表中的一行；

將構建的數據庫表存儲至關系型數據庫。

2.根據權利要求1所述的方法，其特征在于，所述將半結構化數據對應的各編碼字段內容存儲至數據庫表中該半結構化數據對應的行列，包括：

在所述數據庫表中新增半結構化數據對應的行；

在新增行中，定位所述半結構化數據的編碼字段內容對應的字段所在的列，將該編碼字段內容填充至所述新增行中定位的列中。

3.根據權利要求1或2所述的方法，其特征在于，所述方法還包括：

接收統計分析請求，依據所述統計分析請求中包含的統計關鍵詞，從關系型數據庫中，獲取與所述統計關鍵詞相匹配的目標列，所述關系型數據庫為clickhouse數據庫；

調用數組連接指令，針對所述目標列中的每一行，依據該行中的編碼字段內容中包含的分隔符，將該編碼字段內容展開為多個列，其中，每一分隔符對應的內容為一列；

調用應用程序接口統計指令，對展開的列中的內容進行統計。

4.根據權利要求1或2所述的方法，其特征在于，所述方法還包括：

設置一遞增表，將結構化查詢語句統計分析請求與所述遞增表進行左關聯，依據所述結構化查詢語句統計分析請求中包含的統計關鍵詞，從關系型數據庫中，獲取與所述統計關鍵詞相匹配的目標列，所述關系型數據庫為AnalyticDB數據庫；

調用API split_part函數，針對所述目標列中的每一行，依據該行中的編碼字段內容中包含的分隔符，將該編碼字段內容展開為多個列，其中，每一分隔符對應的內容為一列；

基于關聯的遞增表，對展開的列中的內容進行統計。

5.一種存儲數據的裝置，其特征在于，包括：

編碼模塊，用于針對待存儲半結構化數據集中的每條半結構化數據，依據該半結構化數據包含的字段，對該字段包含的內容進行編碼，得到編碼字段內容；

寫入模塊，用于分別以各字段為列構建數據庫表，將半結構化數據對應的各編碼字段內容存儲至數據庫表中該半結構化數據對應的行列，每條半結構化數據對應數據庫表中的一行；

存儲模塊，用于將構建的數據庫表存儲至關系型數據庫。

6.根據權利要求5所述的裝置，其特征在于，所述寫入模塊包括：

行處理單元，用于分別以各字段為列構建數據庫表，在所述數據庫表中新增半結構化數據對應的行；

定位寫入單元，用于在新增行中，定位所述半結構化數據的編碼字段內容對應的字段所在的列，將該編碼字段內容填充至所述新增行中定位的列中。

7.根據權利要求5或6所述的裝置，其特征在于，還包括：

第一統計分析模塊，用于接收統計分析請求，依據所述統計分析請求中包含的統計關鍵詞，從關系型數據庫中，獲取與所述統計關鍵詞相匹配的目標列，所述關系型數據庫為clickhouse數據庫；調用數組連接指令，針對所述目標列中的每一行，依據該行中的編碼字段內容中包含的分隔符，將該編碼字段內容展開為多個列，其中，每一分隔符對應的內容為一列；調用應用程序接口統計指令，對展開的列中的內容進行統計。

8.根據權利要求5或6所述的裝置，其特征在于，還包括：

第二統計分析模塊，用于設置一遞增表，將結構化查詢語句統計分析請求與所述遞增表進行左關聯，依據所述結構化查詢語句統計分析請求中包含的統計關鍵詞，從關系型數據庫中，獲取與所述統計關鍵詞相匹配的目標列，所述關系型數據庫為AnalyticDB數據庫；調用API split_part函數，針對所述目標列中的每一行，依據該行中的編碼字段內容中包含的分隔符，將該編碼字段內容展開為多個列，其中，每一分隔符對應的內容為一列；基于關聯的遞增表，對展開的列中的內容進行統計。