[發明專利]一種面向快速服務的大數據聚合方法

有效

• 申請號: 201410051159.6
• 申請日: 2014-02-14
• 公開（公告）號: CN103810277B
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 苗再良
• 申請（專利權）人: 浪潮天元通信信息系統有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 姜明

1.面向應用的大數據快速聚合與服務傳遞方法，其特征在于包括1)面向服務的大數據聚合二維結構化模板設計方法；2)基于二維結構化模板的大數據存儲與快速傳送方法，其中：

一、面向服務的大數據聚合二維結構化模板設計方法,模板包含二部分：總體服務描述子和子數據序列，其中：

(1)服務描述子，包括以下內容：

a)服務編號,是針對某個數據聚合服務需求而指派的流水代號，作為整個服務周期中的統一標識；

b)服務類型，一個表示服務類型的數據字段，由實際使用者定義,按服務對象類別分為1-N級客戶；按業務類型分實時、準實時、非實時多種響應級別，服務類型字段描述包含多種分類信息的復合類型；

c)服務目標地址，服務目標對象的網絡地址；

d)服務源地址，提供數據聚合服務的IT系統的網絡地址；

e)擴展段長度，指此單元后面跟隨的擴展字段的總數；

f)擴展段，為增強模板的功能，專門設置了擴展字段，擴展段的多少根據需要設置，每個擴展段的內容根據實際需要靈活約定，包括用第一個擴展段表示該聚合服務的安全加密方式、用最后一個擴展段表示總體描述模塊的結束標志；

(2)子數據序列

a)子數據結構編號，編號組成為“服務描述子中的服務編號+結構化擴展碼”，表示服務數據中某一數據子列或子模塊的編號，此處的數據子列，是指大數據中為存儲管理和傳輸方便而將一個數據模塊整體分解成具有結構化特性的、相關聯的一系列子數據模塊，即一個多媒體服務數據模塊可分解成語音數據子列、視頻數據子列、文本數據子列；

子數據結構編號，攜帶著子數據在數據塊整體中的結構位置、與其他子數據的組裝關系；

b)子數據地址，指子數據序列的存儲地址；

c)子數據段，用來裝載子數據序列，因子服務數據的大小是變化的，所以此段的長度是可變的；

d)子擴展段長度，指此單元后面跟隨的子數據模塊中子擴展字段的總數；

e)子擴展段，為增強模板中子數據模塊的功能，專門設置了子數據擴展字段，子擴展段的多少可根據需要設置，每個子擴展段的內容可根據實際需要靈活約定；

二、基于二維結構化模板的大數據存儲與快速傳送，采用下面的方法實現大數據的結構化存儲與快速傳送；

1)面向服務的大數據結構化存儲

在大數據系統中，數據存儲管理功能子系統通常對大數據進行分類、分拆處理，將大數據制作成各種類型、較小粒度的數據片或數據段，并建立索引系統；

根據服務需求搜索發現所需要的一系列相關的數據片，并將這些數據片整合成不同的子數據序列，存儲在二維結構化模板中；

整合好的子數據序列，作為面向服務主題的特種“結構化數據塊”，存儲到大數據管理系統中，以便此后遇到類似服務需求時能夠直接快速地調用；

2)面向服務的聚合數據快速傳送

基于建好大數據聚合二維結構化模板，采用并行方式向客戶快速傳送主描述模塊、各類子數據模塊，在一次聚合服務中，服務描述子只傳送一次，但每個子數據序列因為受到數據包大小的限制或服務數據的變化而需要分為多次傳送；

在客戶端，根據主描述模塊對服務數據結構和屬性的說明，將接收到的各個子數據模塊組裝起來，實現最終需要的聚合數據。