[發明專利]一種文件處理方法和裝置

有效

• 申請號: 201610091248.2
• 申請日: 2016-02-18
• 公開（公告）號: CN107092604B
• 公開（公告）日: 2020-03-20
• 發明（設計）人: 張琳;陳保符;劉婕
• 申請（專利權）人: 中國移動通信集團河北有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李梅香;張穎玲

1.一種文件處理方法，其特征在于，所述方法包括：

獲取至少兩個文件；將滿足文件合并條件的各個文件進行合并，得出合并文件；將合并文件以BloomMapFile形式進行存儲；

在接收文件讀取請求之后，獲取文件讀取請求對應的位數組信息，在一級索引中存在匹配所獲取的位數組信息的key值時，確定所述文件讀取請求對應的文件存在；在二級索引中，查找出所獲取的位數組信息對應的new_key值，基于查找出的new_key值，讀取出對應的合并文件；基于文件讀取請求，從讀取出的合并文件中，根據所獲取的位數組信息的key值，讀取對應的文件。

2.根據權利要求1所述的方法，其特征在于，所述將滿足文件合并條件的各個文件進行合并，得出合并文件，包括：對獲取的各個文件進行分類；在每個類別的文件中，將容量小于容量閾值的文件標記為對應類別的待合并文件；任意一個類別的各個待合并文件的容量之和達到容量閾值時，利用BloomFilter將對應類別的各個待合并文件合并，得出合并文件。

3.根據權利要求2所述的方法，其特征在于，所述利用BloomFilter實現各個待合并文件的合并，包括：啟動MapReduce任務將對應類別的各個待合并文件合并。

4.根據權利要求2或3所述的方法，其特征在于，在將合并文件以BloomMapFile形式進行存儲之后，所述方法還包括：接收文件讀取請求；確定所述文件讀取請求對應的文件存在時，基于所述文件讀取請求讀取文件。

5.根據權利要求4所述的方法，其特征在于，確定所述文件讀取請求對應的文件不存在時，所述方法還包括：返回讀取文件不存在的指示信息。

6.根據權利要求4所述的方法，其特征在于，所述利用BloomFilter將對應類別的各個待合并文件合并，得出合并文件，還包括：獲取每個待合并文件的位數組；建立一級索引(key,value)，其中，key表示每個待合并文件的位數組，value表示每個待合并文件的內容；

在利用BloomFilter將對應類別的各個待合并文件合并，得出合并文件之后，所述方法還包括：建立二級索引(new_key,(key，value))，new_key表示對應類別的合并文件的位數組，對應類別的合并文件為對應類別的各個待合并文件合并后形成的文件；

在接收文件讀取請求之后，所述方法還包括：獲取文件讀取請求對應的位數組信息，在一級索引中存在匹配所獲取的位數組信息的key值時，確定所述文件讀取請求對應的文件存在；

所述基于所述文件讀取請求讀取文件，包括：在二級索引中，查找出所獲取的位數組信息對應的new_key值，基于查找出的new_key值，讀取出對應的合并文件；基于文件讀取請求，從讀取出的合并文件中，讀取對應的文件。

7.根據權利要求6所述方法，其特征在于，所述獲取每個待合并文件的位數組，包括：基于對應待合并文件的文件名生成至少兩個哈希函數，將生成的各個哈希函數映射至預設的位數組中，得出新的位數組，將得出的新的位數組的位數組序列確定為對應待合并文件的位數組。

8.一種文件處理裝置，其特征在于，所述裝置包括：獲取模塊、得出模塊和存儲模塊、讀取模塊；其中，

獲取模塊，用于獲取至少兩個文件；

得出模塊，用于將滿足文件合并條件的各個文件進行合并，得出合并文件；

存儲模塊，用于將合并文件以BloomMapFile形式進行存儲；

讀取模塊，用于在接收文件讀取請求之后，獲取文件讀取請求對應的位數組信息，在一級索引中存在匹配所獲取的位數組信息的key值時，確定所述文件讀取請求對應的文件存在；在二級索引中，查找出所獲取的位數組信息對應的new_key值，基于查找出的new_key值，讀取出對應的合并文件；基于文件讀取請求，從讀取出的合并文件中，讀取對應的文件；基于文件讀取請求，從讀取出的合并文件中，根據所獲取的位數組信息的key值，讀取對應的文件。