[發明專利]分布式數據處理方法、裝置、服務器及可讀存儲介質

在審

• 申請號: 202011374158.7
• 申請日: 2020-11-30
• 公開（公告）號: CN112486592A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 王健;高斌;陳林;陳俊立
• 申請（專利權）人: 成都新希望金融信息有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F16/25;G06F16/242
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 余菲

本申請提供一種分布式數據處理方法、裝置、服務器及可讀存儲介質。方法包括：通過執行引擎中的統一數據接口獲取異構數據；通過執行引擎中的語言轉換模塊將異構數據轉換為預設格式的操作語句，并得到異構數據的參數變量；通過語言轉換模塊，基于操作語句與數據源的數據格式的對應關系，將操作語句轉換為與目標數據源對應的目標數據格式的待處理數據，目標數據源為任一數據源；通過執行引擎中的解析執行模塊對待處理數據進行執行處理，得到待處理數據的操作結果，操作結果包括異構數據的參數變量。在本方案中，參數變量有利于作為索引條件實現異構數據的統一查詢處理。

技術領域

本申請涉及計算機數據處理領域，具體而言，涉及一種分布式數據處理方法、裝置、服務器及可讀存儲介質。

背景技術

在軟件工程研發過程中，引入一種數據存儲介質通常需要引入對應的SDK(Software Development Kit，軟件開發工具包)。例如，使用Java調用MySQL數據庫，需要使用到MySQL-Connector-Java包。而對于不同語言、每種數據存儲介質會都提供不同的SDK，而且在很多情況下會出現版本兼容性的問題。在企業級分布式系統中，存在多語言協作場景，數據處理試用Python，核心業務流程使用Go或者Java等。那么在與存儲介質進行交互的時候就需要根據具體的語言、版本、和對應的存儲介質類型引入不同SKD包，數據源處理無法統一。比如，MySQL用的SQL數據，MongoDB用的是JSON數據，ElasticSearch使用HTTP數據查詢，不便于進行統一查詢處理。

發明內容

本申請實施例的目的在于提供一種分布式數據處理方法、裝置、服務器及可讀存儲介質，有利于對異構數據進行統一查詢處理。

為了實現上述目的，本申請的實施例通過如下方式實現：

第一方面，本申請實施例提供一種分布式數據處理方法，應用于包括數據執行引擎的分布式服務器，所述方法包括：

通過所述執行引擎中的統一數據接口獲取異構數據；

通過所述執行引擎中的語言轉換模塊將所述異構數據轉換為預設格式的操作語句，并得到所述異構數據的參數變量；

通過所述語言轉換模塊，基于所述操作語句與數據源的數據格式的對應關系，將所述操作語句轉換為與目標數據源對應的目標數據格式的待處理數據，所述目標數據源為任一數據源；

通過所述執行引擎中的解析執行模塊對所述待處理數據進行執行處理，得到所述待處理數據的操作結果，所述操作結果包括所述異構數據的所述參數變量。

在上述的實施方式中，通過將異構數據轉換為同一預設格式的操作語句，有利于提取得到異構數據的參數變量。然后，在將操作語句轉換為待處理數據，有利于執行引擎對待處理數據進行數據處理。其中，參數變量有利于作為索引條件實現異構數據的統一查詢處理。

結合第一方面，在一些可選的實施方式中，通過所述執行引擎中的解析執行模塊對所述待處理數據進行執行處理，得到所述待處理數據的操作結果，包括：

通過所述解析執行模塊根據所述待處理數據中的附加信息，確定所述待處理數據的處理策略，所述附加信息包括所述待處理數據與處理策略的對應關系，所述處理策略包括同步處理策略或異步處理策略；

當所述待處理數據的所述處理策略為所述同步處理策略時，基于所述同步處理策略執行處理所述待處理數據，得到所述操作結果；

當所述待處理數據的所述處理策略為所述異步處理策略時，基于所述異步處理策略執行處理所述待處理數據，得到所述操作結果。

結合第一方面，在一些可選的實施方式中，當所述待處理數據的所述處理策略為所述同步處理策略時，基于所述同步處理策略執行處理所述待處理數據，得到所述操作結果，包括：