[發明專利]數據存儲方法、裝置、電子裝置

在審

• 申請號: 202010136861.8
• 申請日: 2020-03-02
• 公開（公告）號: CN111506569A
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 葉騰飛
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455;G06F16/248
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

本發明提供了一種數據存儲方法、裝置、電子裝置，其中，該方法包括：獲取用戶基于指定業務導出的原始數據文件；將原始數據文件上傳至針對用戶和指定業務的第一存儲容器中；解析原始數據文件，確定原始數據文件的數據表；確定數據表的分區字段；根據數據表中每條記錄的分區字段值，分別將每條記錄以列式存儲文件的格式存儲至第二存儲容器中對應的分區目錄，并建立每條記錄與原始數據文件的映射。通過本發明，對數據表按照一個或多個字段的維度進行分區，提高了查詢效率。

技術領域

本發明涉及數據庫領域，具體而言，涉及一種數據存儲方法、裝置、電子裝置。

背景技術

數據湖是一種在系統或存儲庫中以自然格式存儲數據的方法，數據湖對數據沒有數據倉庫和數據庫的限制，它可以保存結構化、半結構化和非結構化等各種類型的數據，采用“讀時模式(schema on read)”存儲數據，也即，在用戶上傳數據時，不對數據進行檢查和限制，數據加載僅僅是文件的復制和移動，便于用戶將原始數據方便快捷的進行存儲，尤其適用于在加載時無法確定查詢需求、不能決定采用何種索引的情況。

隨著對大數據的需求日益增長，企業逐漸開始采用數據湖存儲數據，以達到更快捷獲取大數據的目的。然而，由于數據湖采用讀時模式存儲數據，會降低數據的檢索效率。現有技術中，通常采用每個用戶在加載數據之后自行建立表結構、建立索引的方式來滿足用戶的檢索需求，用戶在每次加載數據之后都需要重復的建立表，效率較低。

發明內容

本發明實施例提供了一種數據存儲方法、裝置、電子裝置，對數據表按照一個或多個字段的維度進行分區，提高了查詢效率。

根據本發明的一個實施例，提供了一種數據存儲方法，包括：獲取用戶基于指定業務導出的原始數據文件；將原始數據文件上傳至針對用戶和指定業務的第一存儲容器中；解析原始數據文件，確定原始數據文件的數據表；確定數據表的分區字段；根據數據表中每條記錄的分區字段值，分別將每條記錄以列式存儲文件的格式存儲至第二存儲容器中對應的分區目錄，并建立每條記錄與原始數據文件的映射。

可選的，確定原始數據文件的數據表包括：解析原始數據文件，建立原始數據文件的初始數據表；顯示初始數據表的字段名以及預設行數的記錄；接收用戶對初始數據表的字段名的編輯操作；根據編輯操作確定數據表的字段名。

可選的，解析原始數據文件，建立原始數據文件的初始數據表，包括：根據原始數據文件中的標頭，以預設格式生成初始數據表中的字段名。

可選的，在接收用戶對初始數據表的字段名的編輯操作之后，該方法還包括：記錄用戶針對初始數據表中的字段名的編輯操作，其中，預設格式包括基于用戶的歷史編輯操作生成初始數據表中的字段名。

可選的，在根據原始數據文件中的標頭，以預設格式生成初始數據表中的字段名之后，該方法還包括：針對原始數據文件中不存在標頭的第一字段，與多個正則表達式分別進行匹配，其中，每個正則表達式預先配置有對應的字段名；如果在多個正則表達式中匹配到對應的正則表達式，將匹配到的正則表達式對應的字段名賦給第一字段。

可選的，在根據原始數據文件中的標頭，以預設格式生成初始數據表中的字段名之后，該方法還包括：針對原始數據文件中不存在標頭的第二字段，在第一存儲容器中搜索第二字段的內容；將搜索排名最高的字段所對應的字段名賦給第二字段。

可選的，針對第二存儲容器，以預設間隔時間為周期，統計用戶在預設間隔時間內查詢字段名的頻次，在用戶查詢頻次超過預設閾值的字段名時更新對第二存儲容器內的分區字段。

可選的，將用戶針對第二存儲容器中的指定字段名進行查詢的查詢結果緩存表存儲第二存儲容器中，其中，在用戶再次查詢指定字段名時，第二存儲容器中上次查詢之后的新增數據表中查詢，并將查詢結果與查詢結果緩存表合并之后顯示。