[發明專利]在線數據處理系統生成方法、裝置及設備

有效

• 申請號: 201810611809.6
• 申請日: 2018-06-14
• 公開（公告）號: CN110609707B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 張旭東
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊澤;劉芳

本發明實施例涉及計算機技術領域，是關于一種在線數據處理系統生成方法、裝置及設備。其中，所述方法包括：接收用于構建在線數據處理系統的配置信息；其中，所述配置信息包括多個邏輯構件各自的標識以及所述多個邏輯構件的串行/并行關系，所述邏輯構件為預先構建的具有預定數據處理功能的程序語句的集合；根據所述多個邏輯構件各自的標識調用對應的邏輯構件；為調用的多個所述邏輯構件分別分配線程池，以構成所述多個邏輯構件各自對應的處理單元；基于所述串行/并行關系，利用所述多個邏輯構件各自對應的處理單元生成所述在線數據處理系統。本發明可以實現后續基于生成的在線數據處理系統處理并發的在線請求，滿足在線系統的快速反饋需求。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種在線數據處理系統生成方法、裝置及設備。

背景技術

MapReduce是Google提出的一個軟件架構，概念“Map(映射)”和“Reduce(化簡)”及其主要思想，都是從函數式編程語言借來的。當前的MapReduce中間件實現要求應用開發者指定一個Map(映射)函數，用來把一組鍵值對映射成一些新的鍵值對，稱作中間鍵值對；此外還要求應用開發者指定一個Reduce(化簡)函數，用來對Map函數輸出的中間鍵值對進行進一步處理。Map調用把輸入數據自動分割成M片輸入數據分片，并將這些輸入數據分片分布到多臺機器上進行并行處理。Reduce調用則通過分割函數分割中間鍵，經過哈希運算生成R片，并將這些R片分布到多臺機器上(分割數量R和分割函數由用戶來指定)。MapReduce是一種離線數據處理機制，通常用于對大規模的離線數據集(大于1TB)進行并行運算。

由上述描述可知，MapReduce通常用于離線數據處理，且在處理數據時，需要進行數據分片、哈希運算以及數據傳輸等環節，因而MapReduce完成一個最簡單邏輯的時間也至少需要幾秒。而在線系統所要求的反饋時間一般為幾十毫秒以下，因而MapReduce處理機制無法滿足用于處理并發在線請求的在線系統的快速反饋需求。

發明內容

本發明實施例提供一種系統生成方法、裝置及設備，以解決現有技術中的不足。

根據本發明實施例的第一方面，提供一種在線數據處理系統生成方法，包括：

接收用于構建在線數據處理系統的配置信息；其中，所述配置信息包括多個邏輯構件各自的標識以及所述多個邏輯構件的串行/并行關系，所述邏輯構件為預先構建的具有預定數據處理功能的程序語句的集合；

根據所述多個邏輯構件各自的標識調用對應的邏輯構件；

為調用的多個所述邏輯構件分別分配線程池，以構成所述多個邏輯構件各自對應的處理單元；

基于所述串行/并行關系，利用所述多個邏輯構件各自對應的處理單元生成所述在線數據處理系統。

可選地，所述為調用的多個所述邏輯構件分別分配線程池，以構成所述多個邏輯構件各自對應的處理單元，包括：

分別構建每一所述邏輯構件對應的待處理任務隊列以及該邏輯構件對應的線程池；

根據每一所述邏輯構件、該邏輯構件對應的所述待處理任務隊列以及所述線程池構建該邏輯構件對應的處理單元。

可選地，所述根據每一所述邏輯構件、該邏輯構件對應的所述待處理任務隊列以及所述線程池構建該邏輯構件對應的處理單元，包括：

構建所述線程池中的線程與所述待處理任務隊列之間的監測關系，以使所述線程池中的線程監測所述待處理任務隊列中是否存在邏輯請求；所述邏輯請求用于調用對應的處理單元的邏輯構件進行數據處理；

構建所述線程池中的線程與所述邏輯構件之間的調用關系，以使所述線程池中的線程在監測到所述待處理任務隊列中存在所述邏輯請求時，根據所述邏輯請求調用相應的邏輯構件進行數據處理。