[發(fā)明專利]一種基于高能物理事例的數(shù)據(jù)管理與傳輸方法

有效

• 申請?zhí)枺?/td>: 201810366443.0
• 申請日: 2018-04-23
• 公開（公告）號: CN109600413B
• 公開（公告）日: 2021-04-06
• 發(fā)明（設計）人: 王聰;程耀東;李海波;徐琪;程振京;胡慶寶
• 申請（專利權）人: 中國科學院高能物理研究所
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京君尚知識產(chǎn)權代理有限公司 11200
• 代理人: 司立彬

1.一種基于高能物理事例的數(shù)據(jù)管理與傳輸方法，其步驟包括：

設置一主站點和若干分站點；其中所述主站點與各分站點之間通過網(wǎng)絡連接；

在每一分站點上設置一數(shù)據(jù)傳輸客戶端，在主站點上設置一數(shù)據(jù)傳輸服務端；其中，所述數(shù)據(jù)傳輸客戶端設置一數(shù)據(jù)緩存元數(shù)據(jù)模塊metaD和一緩存系統(tǒng)，所述緩存系統(tǒng)包括服務器XROOTD Server和客戶端XROOTD Client；所述緩存系統(tǒng)為基于事例和數(shù)據(jù)塊的緩存系統(tǒng)；

定期將事例數(shù)據(jù)存儲到主站點，以及從存儲在主站點的事例數(shù)據(jù)中提取事例特征數(shù)據(jù)并存儲在主站點的事例索引數(shù)據(jù)庫中；其中采用HBase集群來構(gòu)建所述事例索引數(shù)據(jù)庫，所述HBase集群采用按字典序排序的索引結(jié)構(gòu)構(gòu)建主鍵，并在內(nèi)存中進行緩存；所述事例索引數(shù)據(jù)庫將事例特征的名稱和特征值均存儲在Rowkey中；

分站點的XROOTD Client接收到物理軟件讀取事例或文件的請求后，向該分站點的客戶端數(shù)據(jù)緩存服務器CacheD發(fā)送查詢請求；該CacheD在該分站點的metaD中進行元數(shù)據(jù)查詢，確定該分站點是否存在所請求的事例或文件；如果存在，則返回相關信息給該XROOTDClient，該XROOTD Client在該分站點的XROOTD Server中讀取相關信息返回給物理軟件，否則該CacheD向主站點的數(shù)據(jù)傳輸服務端發(fā)起數(shù)據(jù)傳輸請求，從主站點獲取請求的數(shù)據(jù)并存儲到該分站點的XROOTD Server，以及從獲取的數(shù)據(jù)中提取元數(shù)據(jù)并存儲到該分站點的metaD中；

其中，數(shù)據(jù)傳輸服務端將獲取的事例數(shù)據(jù)序列化后傳輸給分站點的數(shù)據(jù)傳輸客戶端；數(shù)據(jù)傳輸客戶端對收到的數(shù)據(jù)進行反序列化后以對象的方式返回給該物理軟件；數(shù)據(jù)傳輸服務端將獲取的事例數(shù)據(jù)序列化的方法為：對事例數(shù)據(jù)進行序列化時記錄該事例數(shù)據(jù)的各分枝的序列化字符串的長度，并依次將其序列化，并生成一偏移量數(shù)組；數(shù)據(jù)傳輸客戶端對收到的數(shù)據(jù)進行反序列化的方法為：數(shù)據(jù)傳輸客戶端對偏移量數(shù)據(jù)做反序列化，取得偏移量數(shù)組；然后根據(jù)偏移量數(shù)組對序列化字符串進行分割，獲得存儲著各個分枝數(shù)據(jù)的子字符串，然后利用子字符串創(chuàng)建對象。

2.如權利要求1所述的方法，其特征在于，所述數(shù)據(jù)傳輸服務端部署多個用于響應數(shù)據(jù)傳輸客戶端請求的Tornado實例。

3.如權利要求1所述的方法，其特征在于，所述數(shù)據(jù)傳輸服務端通過nginx進行負載均衡、反向代理服務。