[發明專利]一種多業務驅動的中間件系統的存儲處理方法及裝置

在審

• 申請號: 201710900534.3
• 申請日: 2017-09-28
• 公開（公告）號: CN107766463A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 林皓;李鵬;蒙進財
• 申請（專利權）人: 北京北信源軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 王瑩,李相雨

技術領域

本發明實施例涉及通信技術領域，具體涉及一種多業務驅動的中間件系統的存儲處理方法及裝置。

背景技術

近年來，隨著互聯網行業的快速發展，全球計算機數據總量也呈現出爆炸性增長。已經有越來越多的科研機構和廠家意識到了這些數據中所蘊含的巨大價值，大數據，分布式計算，集群計算，云計算，深度學習等許多與大規模數據相關的概念都成為了熱門話題。

傳統中間件主要作用是用來屏蔽網絡硬件平臺的差異性和操作系統與網絡協議的異構性，連接兩個獨立的系統或者是兩個獨立的應用程序，使被連接的雙方能夠比較平滑的交換信息。傳統的中間件分為五類，分別是數據庫中間件、事務處理中間件、遠程過程調用中間件、對象請求代理中間件和消息中間件。其中消息中間件是研究最多使用最廣的。

但是，現有中間件無法滿足大數據的一些應用，比如系統和數據規模的增大會對性能和系統存儲帶來一定影響，其伸縮性不能滿足不斷增大的系統規模；采用內存進行數據存儲和轉發，沒有持久化機制，是系統不能實現消息數據的分布式存儲以及消息系統故障恢復等功能。近年來，流數據和運營數據分析與處理已經成為實時監控，在線分析等應用重要的組成部分，這就需要一套稍微更加復雜的消息系統對其提供支持。

在實現本發明實施例的過程中，發明人發現現有的中間件系統無法對海量且復雜的數據進行分布式緩存和管理。

發明內容

由于現有方法存在上述問題，本發明實施例提出一種多業務驅動的中間件系統的存儲處理方法及裝置。

第一方面，本發明實施例提出一種多業務驅動的中間件系統的存儲處理方法，包括：

接收待存儲數據，根據數據存儲算法將所述待存儲數據添加至目標分區文件中；

若判斷獲知所有分區文件的大小達到預設值，或者當前時間到達預設周期，則將所有分區文件中的數據存儲至中間件系統的本地磁盤，并將所有分區文件的數據清空；

若接收到第一終端發送的數據共享請求，則根據所述數據共享請求獲取所述本地磁盤中的目標數據，并將所述目標數據發送至所述第一終端，以使所述第一終端根據所述目標數據生成消費記錄進行存儲。

可選地，所述若接收到第一終端發送的數據共享請求，則根據所述數據共享請求獲取所述本地磁盤中的目標數據，具體包括：

若接收到第一終端發送的數據共享請求，則根據所述數據共享請求解析得到目標數據在所述本地磁盤的邏輯偏移量，根據所述邏輯偏移量確定所述目標數據在所述本地磁盤中的位置，并根據所述位置獲取所述目標數據。

可選地，所述接收待存儲數據，根據數據存儲算法將所述待存儲數據添加至目標分區文件中，具體包括：

接收待存儲數據，根據數據存儲算法確定若干個分區中存儲所述待存儲數據的目標分區，并將所述待存儲數據添加至所述目標分區對應的目標分區文件中。

可選地，所述若接收到第一終端發送的數據共享請求，則根據所述數據共享請求獲取所述本地磁盤中的目標數據，并將所述目標數據發送至所述第一終端，以使所述第一終端根據所述目標數據生成消費記錄進行存儲，具體包括：

若接收到第一終端發送的數據共享請求，則根據所述數據共享請求獲取所述本地磁盤中的目標數據，并將所述目標數據發送至所述第一終端和第二終端，以使所述第一終端和所述第二終端根據所述目標數據生成消費記錄進行存儲；

其中，所述第二終端為與所述第一終端有關聯關系的終端。

可選地，所述中間件系統包括若干個代理服務器；

相應地，所述接收待存儲數據，根據數據存儲算法將所述待存儲數據添加至目標分區文件中，具體包括：

接收待存儲數據，根據服務器分配規則確定所述若干個代理服務器中的目標代理服務器，并根據數據存儲算法將所述待存儲數據添加至所述目標代理服務器的目標分區文件中。

第二方面，本發明實施例還提出一種多業務驅動的中間件系統的存儲處理裝置，包括：

數據添加模塊，用于接收待存儲數據，根據數據存儲算法將所述待存儲數據添加至目標分區文件中；

數據存儲模塊，用于若判斷獲知所有分區文件的大小達到預設值，或者當前時間到達預設周期，則將所有分區文件中的數據存儲至中間件系統的本地磁盤，并將所有分區文件的數據清空；

數據發送模塊，用于若接收到第一終端發送的數據共享請求，則根據所述數據共享請求獲取所述本地磁盤中的目標數據，并將所述目標數據發送至所述第一終端，以使所述第一終端根據所述目標數據生成消費記錄進行存儲。