[發明專利]一種基于分布式并行架構對流數據進行查詢的方法和設備

在審

• 申請號: 202010189809.9
• 申請日: 2020-03-18
• 公開（公告）號: CN111400351A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 劉睿民
• 申請（專利權）人: 威訊柏睿數據科技（北京）有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 龔家驊

本發明公開了一種基于分布式并行架構對流數據進行查詢的方法和設備，應用于包括多個分布式并行連接的計算節點的內存系統中，該方法包括：接收用戶發出的數據查詢請求；根據所述數據查詢請求從流數據的流處理進程中的事件窗口中確定查詢結果，所述流處理進程具體為流適配進程和流連接進程，所述事件窗口為所述流連接進程中對所述流數據進行接收與累積的窗口；向所述用戶返回所述查詢結果；其中，單個所述計算節點中可運行一個或多個所述流連接進程，從而可在滿足兼容性的基礎上快速準確的對流數據進行查詢，提高了用戶體驗。

技術領域

本申請涉及實時流數據處理領域，更具體地，涉及一種基于分布式并行架構對流數據進行查詢的方法和設備。

背景技術

流數據是一組順序、大量、快速、連續到達的數據序列，一般情況下，數據流可被視為一個隨時間延續而無限增長的動態數據集合，應用于網絡監控、傳感器網絡、航空航天、氣象測控和金融服務等領域。

現有技術中對流數據的查詢方式一般采用單機方式，主要存在以下問題，首先，受到單機設備的影響，其計算、網絡等資源擴充十分困難，擴展能力有限，不能夠為大規模流數據的處理提供強大的性能支撐，架構靈活性較差，瓶頸明顯，容易造成資源浪費和匱乏。其次，單機處理的數據量一般較小，無法滿足大數據時代快速增長的流數據處理要求。再次，與單機捆綁性較強，不支持當前市場主流的分布式硬件平臺，兼容性較弱。最后，綜合架構、資源、處理方式等因素，單機在處理一定數據量的流數據時，會存在較大的延遲，時效性較差。另外，受單機限制，基于這種方式或系統建設的平臺的建設成本和后期擴容的成本也十分高昂。

因此，如何在滿足兼容性的基礎上快速準確的對流數據進行查詢是本領域亟待解決的問題。

發明內容

本發明提供一種基于分布式并行架構對流數據進行查詢的方法和設備，用以解決現有技術中處理系統兼容性低，對流數據的查詢速度慢的技術問題，該方法包括：

接收用戶發出的數據查詢請求；

根據所述數據查詢請求從流數據的流處理進程中的事件窗口中確定查詢結果，所述流處理進程具體為流適配進程和流連接進程，所述事件窗口為所述流連接進程中對所述流數據進行接收與累積的窗口；

向所述用戶返回所述查詢結果；

其中，單個所述計算節點中可運行一個或多個所述流連接進程。

優選的，在接收所述用戶發出的數據查詢請求之前，還包括：

基于監聽流數據事件獲取包含所述流數據的數量的通知，所述流數據事件是當所述流數據進入所述內存系統時觸發的；

根據所述通知建立與所述數量匹配的所述流適配進程和所述流連接進程；

基于所述流適配進程將所述流數據按預設格式寫入預設命名管道，所述流適配進程與所述預設命名管道一一對應；

基于所述事件窗口對所述命名管道中的流數據進行接收與累積，所述事件窗口是與所述流連接進程同步建立的。

優選的，根據所述通知建立與所述數量匹配的所述流適配進程和所述流連接進程，具體為：

根據所述通知確定與所述數量匹配的計算資源；

根據所述計算資源確定所述計算節點的個數；

基于所述個數和所述數量建立所述流適配進程和所述流連接進程。

優選的，基于所述個數和所述數量建立所述流適配進程和所述流連接進程，具體為：

當單個所述計算節點中可運行一個所述流連接進程時，建立所述個數的所述流適配進程和所述個數的所述流連接進程，或建立所述數量的所述流適配進程和所述個數的所述流連接進程；