[發明專利]一種數據處理方法和應用服務器

在審

• 申請號: 201810072318.9
• 申請日: 2018-01-25
• 公開（公告）號: CN108460090A
• 公開（公告）日: 2018-08-28
• 發明（設計）人: 唐翌飛;趙曉慶;吳鋒海
• 申請（專利權）人: 聯動優勢科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明實施例涉及數據領域，尤其涉及一種數據處理方法和應用服務器，用以解決現有技術中數據處理效率低的問題。本發明實施例中，應用服務器獲取待處理數據；待處理數據的數據結構為非表結構的；應用服務器將待處理數據映射于配置的表結構中；應用服務器接收結構化查詢語言SQL語句，根據SQL語句對表結構中的待處理數據進行處理；SQL語句為根據待處理數據的處理需求編寫的。由于本發明實施例，通過SQL語句可以簡潔快速實現對待處理數據的處理，進而有助于提高數據處理的效率。

技術領域

本發明實施例涉及數據領域，尤其涉及一種數據處理方法和應用服務器。

背景技術

隨著數據業務的發展，企業關注的數據越來越多，除了常規業務留存的數據外，各種日志數據、爬蟲數據、第三方數據也需要進行存儲。然而傳統的關系數據庫已不能滿足PB級數據的存儲。因此，目前通常采用非關系型數據庫(Not Only SQL，簡稱NoSQL)作為存儲引擎。NoSQL可以通過一級索引快速進行數據查詢，但是相比較于關系型數據庫缺乏靈活性且數據之間的關聯性較差，且NoSQL對數據的處理能力非常有限，而且，在數據庫中進行較復雜邏輯的數據處理時，會影響數據庫的讀寫性能。

為了解決上述問題，現有技術中已經將數據處理轉移到應用端，使用程序代碼進行數據的邏輯處理，以實現對數據的復雜邏輯處理。但是，現有技術中，使用程序代碼進行復雜邏輯處理通常采用硬編碼的方式，數據處理過程繁瑣復雜、效率低。

發明內容

本發明實施例提供一種數據處理方法和應用服務器，用以解決現有技術中數據處理效率低的問題。

本發明實施例提供一種數據處理方法，應用于應用服務器，包括：所述應用服務器獲取待處理數據；所述待處理數據的數據結構為非表結構的；所述應用服務器將所述待處理數據映射于配置的表結構中；所述應用服務器接收結構化查詢語言SQL語句，根據所述SQL語句對所述表結構中的待處理數據進行處理；所述SQL語句為根據所述待處理數據的處理需求編寫的。

可選地，所述應用服務器根據所述SQL語句對所述表結構中的待處理數據進行處理，包括：所述應用服務器在確定所述SQL語句的語法和語義合法時，解析所述SQL語句的執行邏輯；所述應用服務器根據預設的優化規則對所述執行邏輯進行優化，得到執行計劃；所述應用服務器根據所述執行計劃對所述表結構中的待處理數據進行處理。

可選地，所述執行計劃包括重映射、分組和/或排序、以及聚合；所述應用服務器根據所述執行計劃對所述表結構中的待處理數據進行處理，包括：所述應用服務器根據所述SQL語句中的關鍵詞對所述待處理數據進行重映射處理，得到目標數據；所述關鍵詞為根據所述SQL語句中的語法確定的；所述應用服務器根據所述SQL語句中的分組和/或排序條件對所述目標數據進行分組和/或排序；所述應用服務器對分組和/或排序后的數據進行聚合。

可選地，所述表結構中包括至少一個列名；所述待處理數據包括至少一個值；所述應用服務器將所述待處理數據映射于預先配置的表結構中，包括：所述應用服務器將所述待處理數據中的各個值映射于所述表結構中對應的列名下。

本發明實施例提供一種數據處理的應用服務器，包括：獲取單元，用于獲取待處理數據；所述待處理數據的數據結構為非表結構的；接收單元，用于接收結構化查詢語言SQL語句；處理單元，用于將所述待處理數據映射于配置的表結構中；所述處理單元根據所述SQL語句對所述表結構中的待處理數據進行處理；所述SQL語句為根據所述待處理數據的處理需求編寫的。

可選地，所述處理單元，用于：在確定所述SQL語句的語法和語義合法時，解析所述SQL語句的執行邏輯；根據預設的優化規則對所述執行邏輯進行優化，得到執行計劃；根據所述執行計劃對所述表結構中的待處理數據進行處理。