[發明專利]一種基于HDFS的海量醫療小文件分布式存儲方法

在審

• 申請號: 201910793068.2
• 申請日: 2019-08-26
• 公開（公告）號: CN110502479A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 付蔚;李克宇;童世華;趙紅瑩;張珂匯
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/172;G06F16/182
• 代理公司: 11275 北京同恒源知識產權代理有限公司
• 代理人: 趙榮之<國際申請>=<國際公布>=<進入

本發明涉及一種基于HDFS的海量醫療小文件分布式存儲方法，屬于分布式存儲性能優化領域，在標準HDFS集群基礎上分配預處理節點，實現對醫療文件中海量小文件的判斷、緩存、合并及存儲；對于大于閾值的文件，直接存入HDFS集群，對于小于閾值的文件，則先存入緩存，后提取特征，通過hash運算得到相應特征數字串，再通過加權、求和、降維等步驟生成每個文件對應的特征01數字串，并根據該01數字串的相同位數判斷文件相似性；將相似文件合成大于閾值的SequenceFile格式文件存入HDFS，同時生成[key.value]形式的index索引文件。

技術領域

本發明屬于分布式文件系統針對小文件存儲性能優化領域領域，涉及一種基于HDFS的海量醫療小文件分布式存儲方法。

背景技術

隨著大數據技術爆炸式發展，醫療領域的信息化發展已成為發展趨勢。醫療文件格式眾多，小到KB級的病歷表文件、中到MB級的醫療圖片文件、大到GB級的診療視頻文件；醫療文件數量巨大，患者數據，醫生數據，以及醫院中HIS、PACS、LIS、RIS等系統中已有數據。針對海量且非結構化文件，HDFS分布式文件系統非常適合在此場景下應用。

HDFS是一個高容錯、高吞吐、且適合部署在廉價設備上的分布式文件系統。大數據分布式存儲滿足醫療信息系統中的海量文件存儲需求；流式數據處理可以應對醫療信息系統中文件異構的問題；多副本存放策略也有效避免因某個服務器宕機造成的數據丟失，有效保障醫療文件的存儲安全。高擴展性可以滿足針對醫療信息系統中特殊需求所帶來的功能擴展。但是HDFS面向醫療文件存儲仍存在不足，HDFS分布式文件系統在面向大量小文件存儲時仍存在吞吐量降低，NameNode元數據存儲節點壓力驟增等問題。而現有針對海量小文件存儲方法并沒有針對醫療小文件特征進行小文件合并后存儲，以提高小文件的存取效率。

發明內容

有鑒于此，本發明針對海量醫療小文件在HDFS分布式文件存儲系統中缺少針對性優化的問題，提出一種基于HDFS的海量醫療小文件分布式存儲方法。

為達到上述目的，本發明提供如下技術方案：

一種基于HDFS的海量醫療小文件分布式存儲方法，包括以下步驟：

S1：搭建標準分布式文件系統HDFS，劃分角色節點NameNode和DataNode，在標準HDFS中分配醫療文件預處理節點，其中，預處理節點分配原則與NameNode節點一致；

S2：通過客戶端提交上傳醫療文件至預處理節點；

S3：預處理節點對客戶端傳來的醫療文件進行預處理，包括大小判斷、合并、緩存、反饋和上傳操作；

S4：預處理節點處理后的文件上傳至標準HDFS，通過從NameNode獲取數據塊的元數據，將元數據內容存儲于NameNode；將文件內容劃分為數據塊分布存儲于DataNode中，并進行副本策略備份。

進一步，步驟S3中所述預處理，具體包括以下步驟：

S31：預處理節點接收到客戶端傳來的醫療文件，進行文件大小判斷，以HDFS中設定的數據塊大小為判斷閾值；

S32：若文件大小大于設定閾值，則判定為大文件，將其元數據存入NameNode節點，并由NameNode節點指定該文件存入相應DataNode；

S33：若文件大小小于設定閾值，則判定為小文件，存入緩存，等待合并；

S34：將緩存的醫療小文件根據其相似性進行合并，并生成索引文件以提高存取效率；

S35：將合成文件塊的元數據存入NameNode節點，并由NameNode節點指定該文件塊存入相應DataNode。

進一步，步驟S34中所述醫療小文件根據其相似性進行合并的具體步驟如下：