[發明專利]一種存儲數據的方法及裝置

在審

• 申請號: 202010693076.2
• 申請日: 2020-07-17
• 公開（公告）號: CN111797279A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 馮智超
• 申請（專利權）人: 西安數據如金信息科技有限公司
• 主分類號: G06F16/84
• 分類號: G06F16/84
• 代理公司: 北京超成律師事務所 11646
• 代理人: 裴素英

本發明提供了一種存儲數據的方法及裝置，其中，該存儲數據的方法包括：針對待存儲半結構化數據集中的每條半結構化數據，依據該半結構化數據包含的字段，對該字段包含的內容進行編碼，得到編碼字段內容；分別以各字段為列構建數據庫表，將半結構化數據對應的各編碼字段內容存儲至數據庫表中該半結構化數據對應的行列，每條半結構化數據對應數據庫表中的一行；將構建的數據庫表存儲至關系型數據庫。可以提高數據的挖掘價值。

技術領域

本發明涉及數據存儲技術領域，具體而言，涉及一種存儲數據的方法及裝置。

背景技術

隨著通信技術以及互聯網絡的迅猛發展，各行業的數據量均呈現出幾何級數的增長。數據已經成為企業或公司重要的資產，由于關系型數據庫具有可用二維表結構來實現數據的邏輯表達，并能夠利用結構化查詢語言(SQL，Structured Query Language)語法進行數據，非常高效和方便。因而，通過大數據技術采集原始數據，從中提取出結構化數據，將提取出的結構化數據存儲在關系型的分析數據庫中，基于該分析數據庫進行數據挖掘，從而引導企業或公司的發展、布局，或為企業或公司的發展提供參考。但是，由于結構化數據在海量數據(采集的原始數據)中占比較小，使得可用于分析和挖掘的分析數據庫中存儲的數據量較少，降低了數據挖掘價值。

發明內容

有鑒于此，本發明的目的在于提供存儲數據的方法及裝置，以提高數據的挖掘價值。

第一方面，本發明實施例提供了存儲數據的方法，包括：

針對待存儲半結構化數據集中的每條半結構化數據，依據該半結構化數據包含的字段，對該字段包含的內容進行編碼，得到編碼字段內容；

分別以各字段為列構建數據庫表，將半結構化數據對應的各編碼字段內容存儲至數據庫表中該半結構化數據對應的行列，每條半結構化數據對應數據庫表中的一行；

將構建的數據庫表存儲至關系型數據庫。

結合第一方面，本發明實施例提供了第一方面的第一種可能的實施方式，其中，所述將半結構化數據對應的各編碼字段內容存儲至數據庫表中該半結構化數據對應的行列，包括：

在所述數據庫表中新增半結構化數據對應的行；

在新增行中，定位所述半結構化數據的編碼字段內容對應的字段所在的列，將該編碼字段內容填充至所述新增行中定位的列中。

結合第一方面或第一方面的第一種可能的實施方式，本發明實施例提供了第一方面的第二種可能的實施方式，其中，所述方法還包括：

接收統計分析請求，依據所述統計分析請求中包含的統計關鍵詞，從關系型數據庫中，獲取與所述統計關鍵詞相匹配的目標列，所述關系型數據庫為clickhouse數據庫；

調用數組連接指令，針對所述目標列中的每一行，依據該行中的編碼字段內容中包含的分隔符，將該編碼字段內容展開為多個列，其中，每一分隔符對應的內容為一列；

調用應用程序接口統計指令，對展開的列中的內容進行統計。

結合第一方面或第一方面的第一種可能的實施方式，本發明實施例提供了第一方面的第三種可能的實施方式，其中，所述方法還包括：

設置一遞增表，將結構化查詢語句統計分析請求與所述遞增表進行左關聯，依據所述結構化查詢語句統計分析請求中包含的統計關鍵詞，從關系型數據庫中，獲取與所述統計關鍵詞相匹配的目標列，所述關系型數據庫為AnalyticDB數據庫；

調用API split_part函數，針對所述目標列中的每一行，依據該行中的編碼字段內容中包含的分隔符，將該編碼字段內容展開為多個列，其中，每一分隔符對應的內容為一列；

基于關聯的遞增表，對展開的列中的內容進行統計。