[發明專利]一種便于一次性獲取信息的非結構化數據存儲方法

在審

• 申請號: 201410574527.5
• 申請日: 2014-10-24
• 公開（公告）號: CN104391864A
• 公開（公告）日: 2015-03-04
• 發明（設計）人: 王德強;王偉偉
• 申請（專利權）人: 浪潮軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及數據存儲技術領域，特別涉及一種便于一次性獲取信息的非結構化數據存儲方法。

背景技術

在數據信息匯總展示時，往往含有大量的信息，比如人員信息，不僅僅含有描述性的基本信息，而且還有數據量非常大的活動軌跡信息；因此，在進行信息展示時，如果需要多種數據展現，利用常規的數據庫中表存儲的方式，分別去不同表中查詢，根本無法滿足展現頁面加載速度的要求，甚至會卡死現象。

發明內容

為了解決現有技術的問題，本發明提供了一種便于一次性獲取信息的非結構化數據存儲方，其能夠將信息提前組織好，使用時直接獲取，大大提高了效率。

本發明所采用的技術方案如下：

一種便于一次性獲取信息的非結構化數據存儲方法，其特征在于建立非關系型的檔案數據，即在在獲取數據時，對數據進行整理和加工，根據唯一標識查找檔案信息；已有檔案的話獲取該檔案添加新獲取數據，沒有檔案的根據獲取的數據生成檔案，并保存檔案。

建立非關系型的檔案數據是指在數據獲取過程中，將數據按照業務關聯性進行整合，形成適合整體描述的非關系型的數據。

在數據的存儲上，利用云計算的分布式存儲方式。

存儲數據格式為XML文件；數據存儲工具用hbase。

本發明的核心是建立非關系型的檔案數據。以人員信息為例，在獲取數據時，對數據進行整理和加工，根據身份證（唯一標識）查找檔案信息；已有檔案的話獲取該檔案添加新獲取數據，沒有檔案的根據獲取的數據生成檔案，并保存檔案。完成建檔后，在調用檔案時可直接查詢到檔案，無需像關系型數據存儲那樣，分別去多個表中查詢，大大提高了查詢效率。

本發明的存儲數據格式為XML文件；XML較為大眾，解析方便、快速。本發明在數據存儲工具上用hbase，采用hbase存儲有以下幾個優勢：

1、Hbase為分布式計算，提高了數據的查詢速度；

2、Hbase可根據數據量的增大，動態擴展節點來增加存儲量；

3、Hbase可以存儲像XML這樣的非結構化的數據。

本發明提供的技術方案帶來的有益效果是：

本發明利用可描述型的非關系型數據來存儲數據；數據存儲上選取分布式存儲的方式，利用分布式存儲比傳統的數據庫存儲更加安全可靠，并且利用分布式計算，使得數據的存儲和查詢的速度也明顯好于傳統的數據庫存儲方式，其大幅度提高了大量數據的查詢速度，以人員信息為例，利用本發明的方法存儲數據，在億級數量中查詢所需要的數據耗時小于十毫秒。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，下面將結合實施方式作進一步地詳細描述。

實施例一

本實施例的一種便于一次性獲取信息的非結構化數據存儲方法，是建立非關系型的檔案數據，即在在獲取數據時，對數據進行整理和加工，根據唯一標識查找檔案信息；已有檔案的話獲取該檔案添加新獲取數據，沒有檔案的根據獲取的數據生成檔案，并保存檔案。

建立非關系型的檔案數據是指在數據獲取過程中，將數據按照業務關聯性進行整合，形成適合整體描述的非關系型的數據。

在數據的存儲上，利用云計算的分布式存儲方式。

存儲數據格式為XML文件；數據存儲工具用hbase。

以人員信息為例，在獲取數據時將信息按照身份證號（唯一標示）進行數據整合形成非關系型數據的人員檔案，在調用人員信息和展示人員頁面時，無需多表及多數據源查詢，只需通過身份證即可調去相關人員所有信息，此方法有利于提高獲取信息的查詢速度；在維護上也方便了信息的統一管理。在數據的存儲上，利用云計算的分布式存儲方式，提高了數據的存取速度。

以上所述僅為本發明的較佳實施例，并不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。