[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201910959579.7
• 申請日: 2019-10-10
• 公開（公告）號: CN110704130A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 王和平;尹強;劉有;黃山;楊峙岳;邸帥;盧道和
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445
• 代理公司: 11291 北京同達信恒知識產權代理有限公司
• 代理人: 彭燕

本發明公開了一種數據處理方法及裝置，其中方法為：數據中間件接收來自用戶主機的任務數據；所述數據中間件預先存儲了腳本語言類型與計算引擎類型之間的映射關系；所述數據中間件根據所述映射關系，確定所述待執行腳本的腳本語言類型映射的至少一個計算引擎；若所述至少一個計算引擎中存在符合所述待執行腳本的計算引擎類型的目標計算引擎，則所述數據中間件將所述待執行腳本提交給所述目標計算引擎處理。上述方法應用于金融科技(Fintech)時，由于在任務數據中指定計算引擎類型，并傳入指定腳本語言類型的待執行腳本，從而增加了數據中間件處理的靈活性。

技術領域

本發明涉及金融科技(Fintech)領域和計算機軟件領域，尤其涉及一種數據處理方法及裝置。

背景技術

隨著計算機技術的發展，越來越多的技術(大數據、分布式、區塊鏈(Blockchain)、人工智能等)應用在金融領域，傳統金融業正在逐步向金融科技(Fintech)轉變。目前，金融科技領域中，由于客戶端的數據處理能力有限，常通過數據中間件轉接客戶端的腳本，再通過計算引擎處理數據。

然而，現有技術中，數據中間件不支持多個計算計算引擎的處理，也不支持多腳本語言的處理，只能對特定的腳本連接特定的計算引擎進行數據服務，如HiveServer2和SparkThriftserver只能連接到hive中的數據，這會導致數據處理的靈活性降低，這是一個亟待解決的問題。

發明內容

本申請實施例提供一種數據處理方法及裝置，解決了現有技術中數據中間件的數據處理的靈活性降低的問題。

第一方面，本申請實施例提供一種數據處理方法：數據中間件接收來自用戶主機的任務數據；所述任務數據包括：待執行腳本、待執行腳本的腳本語言類型和待執行腳本的計算引擎類型；所述數據中間件預先存儲了腳本語言類型與計算引擎類型之間的映射關系；所述數據中間件根據所述映射關系，確定所述待執行腳本的腳本語言類型映射的至少一個計算引擎；若所述至少一個計算引擎中存在符合所述待執行腳本的計算引擎類型的目標計算引擎，則所述數據中間件將所述待執行腳本提交給所述目標計算引擎處理。

上述方法下，數據中間件接收來自用戶主機的任務數據，由于數據中間件中預先存儲了多種腳本語言與多個計算引擎之間的映射關系，可在任務數據中指定計算引擎類型，并傳入指定腳本語言類型的待執行腳本，增加了數據中間件處理的靈活性，并且數據中間件可根據待執行腳本的腳本語言類型確定至少一個計算引擎，如果其中有目標計算引擎，則將待執行腳本提交給目標計算引擎處理，從而完成對任務數據的處理。

一種可選實施方式中，所述數據中間件有多個入口，所述入口用于存放所述數據中間件接收的數據；所述數據中間件接收來自客戶端的任務數據，包括：所述數據中間件從所述多個入口中選擇一個目標入口；所述多個入口中每個入口被選為所述目標入口的概率與該入口的數據量呈負相關；所述數據中間件通過所述目標入口，接收所述任務數據。

上述方法中，數據中間件設置了多個入口，從所述多個入口中選擇一個目標入口，由于所述多個入口中每個入口被選為所述目標入口的概率與該入口的數據量呈負相關，因此可讓負載較高的入口被選擇的概率較低，讓負載較低的入口被選擇的概率較高，從而實現各個入口負載均衡。

一種可選實施方式中，針對所述多個入口中任一入口，所述入口中有多個生產者隊列和多個消費者隊列；所述多個生產者隊列用于存放所述數據中間件接收的數據；所述多個消費者隊列用于從所述多個生產者隊列里獲取數據；所述方法還包括：所述數據中間件并行處理所述消費者隊列中的數據。

上述方法中，所述入口中有多個生產者隊列和多個消費者隊列；通過所述多個生產者隊列暫時存放所述數據中間件接收的數據，通過多個消費者隊列從所述多個生產者隊列里獲取數據；所述數據中間件并行處理所述消費者隊列中的數據，從而提升了數據中間件的處理效率。