[發明專利]適合大小文件的海量醫療數據存儲系統及數據存儲方法

有效

• 申請號: 201711417838.0
• 申請日: 2017-12-22
• 公開（公告）號: CN108053863B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 汪鵬;王紅遷;王紅軍;朱媛媛;王飛;孫靖;尉雯雯
• 申請（專利權）人: 中國人民解放軍第三軍醫大學第一附屬醫院
• 主分類號: G16H10/00
• 分類號: G16H10/00;G06F16/13;G06F16/16;G06F16/182;G06F16/17;G06F16/172
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 吳迪

1.一種適合大小文件的海量醫療數據存儲系統，其特征在于，包括：用戶注冊模塊、監控報警模塊、處理模塊、數據索引模塊、接口模塊和負載均衡模塊；

所述用戶注冊模塊用于管理院區信息、科室信息以及用戶名信息；并且還用于在進行用戶注冊新增操作時，使得用戶需要按照預設規則進行注冊，當不滿足所述預設規則時，發送提示信息至用戶終端；當注冊成功時，為所述用戶賦予文件操作權限，以及將所述用戶信息按照預設格式進行存儲；

所述監控報警模塊用于實時監控各個存儲服務器和各個服務模塊的運行狀態，以及當所述系統或服務狀態異常時發送郵件或短信報警，使得第一時間通知系統管理人員，以及在狀態恢復后發出正常的郵件或短信通知，以使用戶能夠在正常后進行及時使用，以及用于在出現部分單一性的錯誤問題時，所述監控報警模塊實現自動修復同時發出報錯信息和恢復信息；

所述處理模塊用于將用戶上傳的海量小文件按照預設處理規則分組合并成sequenceFile，并根據不同的隊列進行合并所述文件，進而減少用戶訪問數據的壓力；

所述數據索引模塊用于為用戶所上傳的數據分配唯一標識符和索引；

所述接口模塊用于提供上傳、查看下載、刪除文件的接口，以使用戶通過所述接口模塊完成用戶文件上傳、下載或刪除操作；

所述負載均衡模塊用于根據用戶發送的消息包中所攜帶的用戶的IP和操作信息，對所述用戶發送的消息包進行解析，然后根據IP和操作的類型選擇對應的服務器組；

以及還用于獲得各個服務器的性能狀態，然后再根據每個所述服務器的性能狀態選擇多個所述服務器中的任意一個所述服務器，從而將數據報文中的目標地址修改為所述服務器所對應的地址。

2.根據權利要求1所述的系統，其特征在于，所述處理模塊具體用于：

從kafka的未消費緩存隊列集合中逐個獲取用戶文件，并寫入到預設的維護的序列文件集合中；

判斷所述序列文件集合的值是否達到預設值；

若是，將所述序列文件集合中的文件合并寫入到HDFS中的序列文件中；

當寫入成功后，將操作日志寫入到log中，并將所述用戶文件的索引寫到所述數據索引模塊所在的服務器上，同時將所述kafka中剛剛消費的隊列中相應文件記錄刪除；

若否，則進行等待直到所述序列文件集合的值達到所述預設值。

3.根據權利要求2所述的系統，其特征在于，所述處理模塊包括控制器和操作日志模塊。

4.根據權利要求1所述的系統，其特征在于，還包括元數據模塊，所述元數據模塊，用于存儲用戶的注冊信息和文件名的編號信息，以使用戶注冊后能夠快速進行查詢和更新操作。

5.根據權利要求1所述的系統，其特征在于，還包括數據緩存模塊，所述數據緩存模塊，用于緩存用戶上傳或下載的數據。

6.根據權利要求1所述的系統，其特征在于，還包括索引存儲模塊，所述索引存儲模塊用于存儲文件索引。

7.一種數據存儲方法，其特征在于，應用于如權利要求1所述的適合大小文件的海量醫療數據存儲系統，包括：

所述負載均衡模塊獲取用戶上傳的用戶文件，并將所述用戶文件發送至所述接口模塊；

所述接口模塊將所接收到的所述用戶文件發送至緩存模塊，以使所述緩存模塊將所述用戶文件上傳至所述處理模塊；

所述處理模塊從kafka的未消費緩存隊列集合中逐個獲取用戶文件，并寫入到預設的維護的序列文件集合中；

所述處理模塊判斷所述序列文件集合的值是否達到預設值；

若是，所述處理模塊將所述序列文件集合中的文件合并寫入到HDFS中的序列文件中；

當寫入成功后，所述處理模塊將操作日志寫入到log中，并將所述用戶文件的索引寫到所述數據索引模塊所在的服務器上，同時所述處理模塊將所述kafka中剛剛消費的隊列中相應文件記錄刪除；

若否，所述處理模塊進行等待直到所述序列文件集合的值達到所述預設值。