[發明專利]一種材料輻照損傷多尺度模擬大數據管理系統

有效

• 申請號: 202110363621.6
• 申請日: 2021-04-02
• 公開（公告）號: CN113177088B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 姚宣霞;劉美良;任帥;胡長軍;儲根深
• 申請（專利權）人: 北京科技大學
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455;G06F16/28;G06F16/25
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

本發明提供一種材料輻照損傷多尺度模擬大數據管理系統，屬于高性能計算與大數據管理領域。所述系統包括：預處理層，用于當接收到用戶發送的數據時，采用消息中間件Kafka集群作為所述系統的數據緩沖區，并利用Storm集群，以便數據經過處理和分析后存入持久化層的數據庫中；持久化層，采用MongoDB+MiniO+MySQL的模式存儲不同尺度的模擬數據；業務層，以松耦合的方式對功能模塊進行組織；接口層，使用GraphQL的API接口連接前端和后端；應用層，使用Vue的前端架構設計人機交互的Web平臺。采用本發明，實現了大規模、多尺度的模擬數據存儲，并表現出良好的可擴展性和高并發性。

技術領域

本發明涉及高性能計算與大數據管理領域，特別是指一種材料輻照損傷多尺度模擬大數據管理系統。

背景技術

在材料輻照損傷的模擬過程中，通過使用不同的方法，例如分子動力學方法(Molecular?dynamics，MD)，動力學蒙特卡洛方法(Kinetic?Monte?Carlo，KMC)等來進行多尺度的模擬。材料多尺度模擬過程中產生的數據跨越原子尺度、微觀尺度、介觀尺度、宏觀尺度多個不同的模擬尺度，不僅數目巨大，而且類型豐富，包含數值型、曲線型、圖片型以及各種文檔類型等。這些數據一般由研究人員分散管理，不利于后續分析和研究。隨著模擬規模的不斷增大以及多尺度耦合的復雜化，數據量會急劇上升，進而也帶來了對海量數據的存儲管理、快速查詢、數據分析、數據可視化等一系列需求問題。現有的數據管理方式很難勝任這樣大數據量的需求。因此，針對不同尺度的模擬，急需設計統一的數據結構，以存儲包括原子坐標數據，微結構演化模塊數據，模擬結果數據、結果處理數據在內的一系列數據。

另一方面，隨著數據規模的擴大，現有的模擬平臺面臨著性能不足，資源消耗過多等問題，已經無法很好的滿足高性能，高并發的需求。而大數據管理系統存儲容量巨大且支持大規模數據的復雜計算。因此，如何基于材料輻照損傷模擬數據，運用大數據、云服務等相關技術，搭建相關的大數據系統，從海量的大數據中提取有價值的信息進行合理、有效的利用，為廣大的科研工作者提供服務和協助，成為材料領域一個重要的研究方向。

發明內容

本發明實施例提供了材料輻照損傷多尺度模擬大數據管理系統，實現了大規模、多尺度的模擬數據存儲，并表現出良好的可擴展性和高并發性。所述技術方案如下：

本發明實施例提供了一種材料輻照損傷多尺度模擬大數據管理系統，該系統包括：

預處理層，用于當接收到用戶發送的數據時，采用消息中間件Kafka集群作為所述系統的數據緩沖區，并利用Storm集群，以便數據經過處理和分析后存入持久化層的數據庫中；

持久化層，采用MongoDB+MiniO+MySQL的模式存儲不同尺度的模擬數據；其中，使用MongoDB集群存儲所述系統中的模擬數據，使用分布式對象存儲技術MiniO存儲用戶上傳的文件，使用MySQL存儲用戶信息和系統日志；

業務層，以松耦合的方式對功能模塊進行組織；

接口層，使用GraphQL的API接口連接前端和后端；

應用層，使用Vue的前端架構設計人機交互的Web平臺。

進一步地，所述預處理層，用于當接收到用戶發送的數據時，采用消息中間件Kafka集群作為所述系統的數據緩沖區；其中，若接收到的數據為多尺度的模擬數據，則Kafka集群采用尺度作為主題，對數據進行分類發送，Storm集群按照模擬的尺度從Kafka集群中獲取數據，并對數據進行處理和分析，將分析后的數據存入數據庫中。

進一步地，所述持久化層，利用“分片+副本集”的架構搭建MongoDB集群。

進一步地，所述MongoDB集群包括：分片節點、配置節點和路由節點；其中，

所述分片節點，用于存儲模擬數據；