[發明專利]面向高能物理IO密集型的可計算存儲系統及服務方法

在審

• 申請號: 202111136923.6
• 申請日: 2021-09-27
• 公開（公告）號: CN113901016A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 程耀東;李海波;程垚松;畢玉江;張敏行
• 申請（專利權）人: 中國科學院高能物理研究所
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F16/16;G06F16/27
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

本發明公開了一種面向高能物理IO密集型的可計算存儲系統及服務方法。本方法為：1)利用元數據解析模塊對客戶端發來的文件訪問請求進行解析過濾，并將修改后的該文件訪問請求轉發給元數據服務進程，使其能夠正確獲得文件信息，并將文件所在物理地址、文件大小信息傳遞回客戶端，用于客戶端根據返回信息重定向發送文件訪問請求到對應的存儲服務進程；2)存儲服務解析模塊根據自客戶端重定向后傳遞過來的文件訪問請求調用存儲計算功能模塊中的對應方法對數據進行處理；3)存儲計算功能模塊對數據處理完成后生成一個文件發送給存儲服務解析模塊；然后存儲服務解析模塊調用元數據注冊模塊，將該文件注冊回分布式存儲系統中。

技術領域

本發明屬于海量數據存儲和可計算存儲領域，涉及一種面向高能物理IO密集型的可計算存儲系統及服務方法。

背景技術

隨著實驗裝置和探測器技術的發展，探測器的能量分辨率越來越高，實驗數據量也從TB級到PB級甚至EB級地急劇增加，這對計算能力和網絡傳輸能力提出了極大的要求，推動了高性能計算、海量存儲系統和網絡傳輸等領域的技術創新與發展。另一方面，芯片設計與制造、存儲與網絡等技術的發展，也讓高能物理向更高能量、更高探測器分辨率方向發展。

目前的高能物理計算分析，根據CPU/GPU資源使用量可以分為不同的計算模式。比如加速器與探測器模擬設計、物理模擬，需要消耗大量CPU資源，是計算密集型；而粒子探測器觀測到的海量科學數據的分析處理，單個的任務需要的CPU資源不多，但會處理相當的數據，是典型的數據密集型；格點量子色動力學和計算宇宙學等這種高能物理理論研究中的高強度的科學計算，也是典型的計算密集型。根據計算能力與數據存儲位置的不同，高能物理計算分析一般分為兩種模式。一種是計算能力與數據存儲分離的模式，以HTCondor和Slurm為代表，都是高能物理等計算領域常用的計算任務調度系統；一種是計算與存儲統一的模式，計算與數據存儲在相同節點，以Hadoop和Spark為代表，都是大數據領域常用的數據處理軟件。計算與存儲統一的模式，數據處理在存儲節點進行，優點就是不需要通過網絡移動大量數據，但缺點也很明顯：計算設備密度低，計算和存儲須同步擴展，需修改應用適配其工作流，高能物理領域很少采用這種模式。相對地，計算與存儲分離模式，計算節點通過網絡文件系統如EOS、Lustre等待讀取數據進行分析，優點是計算和存儲獨立擴展，部署靈活，使用方便；缺點也很明顯，需要大量網絡通信與數據傳輸，高能物理分析很適合也廣泛采用了這種模式。

高能物理計算中，一般的存儲與計算集群結構如圖1所示。用戶從登錄節點提交任務，作業調度系統如HTcondor/Slurm等將作業調度到計算節點，計算節點通過網絡從Lustre/EOS等網絡文件系統中傳輸數據進行分析。這種結構方便橫向擴展，但也有瓶頸，明顯的一點就是，用戶登錄、作業調度、數據傳輸等都需要高速穩定的互聯網絡。在當前計算節點密度越來越高、單節點CPU核心數據越來越多、存儲磁盤陣列數據越來越多的情況下，即使100Gb/s的上連網絡也常被占滿，導致計算節點服務器數據包堆積與丟失，用戶訪問存儲服務器響應緩慢乃至無法訪問文件等各種問題。為了保證服務質量，解決瓶頸的一個思路是升級集群的網絡到更高帶寬，但這種方法需要集群進行改造，整體變動大，升級到100Gb/s以上成本高，相比增加計算節點和存儲陣列，綜合來說升級網絡并不是最合適的解決網絡瓶頸的方法。

一般的實驗物理數據分析中，一些數據處理過程如decode(將實驗數據從二進制文件轉換到其他格式的文件)，事例重建(從實驗數據中將粒子反應過程重建出來)，模擬重建(使用模擬數據進行事例重建)等等，占據了數據分析過程中的相當大的一部分，而這些過程只消耗很少的CPU資源，但會大量地從網絡存儲系統中讀取、寫入文件，占用了大量網絡帶寬，造成網絡瓶頸。另一方面，眾多的存儲節點上文件系統存儲進程CPU使用率并不高，CPU性能過剩，大量CPU資源閑置。若借鑒Hadoop/Spark等數據處理方式，文件系統存儲進程利用存儲節點上空閑的CPU計算能力來直接進行decode、事例重建等數據處理過程，則能有效避免大量的網絡傳輸，減輕網絡負擔。本發明就實現了這樣一種面向高能物理IO密集型數據處理的可計算存儲方法。