[發明專利]一種數據處理的方法、系統、設備及可讀存儲介質

在審

• 申請號: 202110789692.2
• 申請日: 2021-07-13
• 公開（公告）號: CN113535882A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 梁鋮
• 申請（專利權）人: 上海銷氪信息科技有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 侯珊

本申請公開了一種數據處理的方法，包括：根據輸入的數據處理請求確定待處理數據名稱及對應的處理操作；按照預設字段映射關系表確定待處理數據名稱對應的ES字段名稱；在ES數據庫中查找ES字段名稱對應的ES數據，并執行處理操作對ES數據進行處理。本申請解決了ES數據庫存在的默認字段上限的問題，實現更加簡單，而且本申請是在進行ES數據處理操作之前進行的待處理數據名稱與ES字段名稱的映射，不會降低ES檢索性能，進而不會影響業務處理的響應速度，達到了在突破ES數據庫限制的基礎上提高ES數據庫的數據處理效率的效果。本申請同時還提供了一種數據處理的系統、設備及可讀存儲介質，具有上述有益效果。

技術領域

本申請涉及數據處理領域，特別涉及一種數據處理的方法、系統、設備及可讀存儲介質。

背景技術

單一關系型數據庫橫縱表，檢索能力差，對于大數據量的存儲也有瓶頸。而nosql對事務的支持不夠友好，因此一般使用ElasticSearch(簡稱ES)數據庫進行數據存儲和檢索，ES是面向文檔型數據庫，一條數據在這里就是一個文檔，用JSON作為文檔序列化的格式，可動態的擴展文檔中的字段，存儲數據量大，檢索性能也比較優秀。

但是ES數據庫的弊端在于1000個默認字段的上限。現有的解決方案大致分為如下三種：

1)可以通過配置擴大文檔字段的上限，但是此種方案會降低檢索ElasticSearch的效率。

2)與業務方和用戶溝通，將不常用字段刪除，然而C端系統面相市場無法控制用戶的使用。

3)設置多維度存儲和計算(例如hive)，然而此種方案涉及代碼重構，數據遷移等問題，改造成本大，而且數據處理效率較低。

因此，如何在突破ES數據庫限制的基礎上提高ES數據庫的數據處理效率是本領域技術人員目前需要解決的技術問題。

發明內容

本申請的目的是提供一種數據處理的方法、系統、設備及可讀存儲介質，用于在突破ES數據庫限制的基礎上提高ES數據庫的數據處理效率。

為解決上述技術問題，本申請提供一種數據處理的方法，該方法包括：

根據輸入的數據處理請求確定待處理數據名稱及對應的處理操作；

按照預設字段映射關系表確定所述待處理數據名稱對應的ES字段名稱；其中，所述ES字段名稱與ES字段的對應關系為多對一；

在ES數據庫中查找所述ES字段名稱對應的ES數據，并執行所述處理操作對所述ES數據進行處理。

可選的，在按照預設字段映射關系表確定所述待處理數據名稱對應的ES字段名稱之前，還包括：

根據輸入的數據存儲請求確定待存儲數據的ES字段類型；

判斷所述預設字段映射關系表中是否存在所述ES字段類型對應的ES字段名稱；

若存在，則依據預設命名規則創建所述ES字段類型對應的新ES字段名稱，并將所述待存儲數據存儲至所述新ES字段名稱中；

若不存在，則創建所述ES字段名稱，并將所述待存儲數據存儲至所述ES字段名稱中。

可選的，在創建所述ES字段類型對應的新ES字段名稱之前，還包括：

判斷所述ES字段類型對應的ES字段名稱的數量是否超過第一閾值；

若超過，則禁止創建所述新ES字段名稱，并輸出所述ES字段類型對應的ES字段名稱數量超過所述第一閾值的提示信息。

可選的，還包括：

依據所述待存儲數據與所述ES字段名稱或所述新ES字段名稱的對應關系建立所述預設字段映射關系表。