[發明專利]數據整合方法及裝置在審

申請號：	201510541685.5	申請日：	2015-08-28
公開（公告）號：	CN105068770A	公開（公告）日：	2015-11-18
發明（設計）人：	陳曉娟;繆燕;鐘金柱;盧凌宇;李海;呂志來;張學深	申請（專利權）人：	國家電網公司;北京許繼電氣有限公司
主分類號：	G06F3/06	分類號：	G06F3/06;G06F17/30
代理公司：	北京立成智業專利代理事務所(普通合伙) 11310	代理人：	張江涵
地址：	100017 ***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	數據整合方法裝置
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

技術領域

本發明涉及數據信息處理領域，尤其涉及一種對數據特征分析的基礎上對數據進行快速整理的方法。

背景技術

隨著信息技術在多種領域中的運用，各種數據的數量已迅速提高。目前對數據處理的方式，是在認可數據多樣化的基礎上，使用數據分析等方式對數據進行整合，以另一種統一格式呈現數據處理結果。上述的數據整合方式通常都是手工操作，各種數據存在數據冗余、數據量龐大等問題，給數據處理帶來的不便，帶來了數據出錯、處理數據工作量加大和處理數據周期加長等問題。

發明內容

本發明要解決的技術問題是，針對現有信息量龐大且類型多樣的大數據能保證業務數據的快速準確分析整合，提供一種數據整合方法及裝置。

為達到上述目的，本發明提供了一種數據整合方法。該方法包括：對計算設備中的輸入輸出(I/O)設備的讀寫請求進行監聽，等待目標用戶或目標程序的操作；當監聽到所述目標用戶或目標程序進行I/O操作時，對所述輸入輸出設備進行接管，將輸入輸出設備傳來的數據暫存在在受控內存中；按照用戶需求對數據進行處理；按照用戶需求構成處理后的數據，將處理后的數據導出。

其中，受控內存是從計算機物理內存中劃出的預定大小的一塊內存區域，此內存區域對運行于支持虛擬化技術的CPU的VMXnon-rootoperation模式下的Ring0環上的客戶操作系統不可見并且不受其管理。

數據以鍵值形式存儲在受控內存中，當滿足設定鍵值變更數量條件時，將數據寫入到硬盤中。這種方式既保證了處理數據的速度，又保證了數據的存儲非易失性，還非常適合處理數組類型的數據。

可選的，當用戶用處理已有的數據時，通過將需處理的數據輸入到一個非關系型分布式數據庫中，按照既定規則以字段形式進行無結構存儲，并以字段形式展現出來。用戶在可視化界面中對數據進行操作，提取出相應字段的數據并進行顯示和/或導出。

可選的，當用戶用處理導入數據時，會將已有數據暫存在受控數據池中。同時將數據文檔中導入的數據按照字段形式進行標記，并羅列所標記的字段，通過按照既定規則以可視化的形式將數據展現出來。通過結合操作系統內置資源配置庫及kettle組件，在系統內部建立起一個數據分析轉移的平臺。對數據進行處理后進行顯示和/或導出。

當用戶導出數據時，會將已存儲的數據以字段形式進行可視化，在操作系統內部建立起的數據平臺中進行處理，形成用戶所需的格式模板，并對數據加以導出。

監聽輸入輸出設備讀寫請求進行的監聽程序常駐受控內存中。

本方法通過不限格式存儲數據，將數據以字段形式展現，向用戶提供了一個平臺模型。用戶可用現有的平臺模型為基礎，構建數據的樣式，也可以自定義平臺模型，構建數據表的樣式。

本發明另一個方面，提供一種數據整合裝置，包括：

數據導入導出模塊：當有數據進入整合系統、從整合系統中導出業務數據或從整合系統顯示數據到顯示器上時，數據導入導出模塊將對進入受內存管理模塊管理的內存區域中的業務數據進行分析，并進行控制顯示等處理；

內存管理模塊：負責管理直接從計算機物理內存中劃出的一塊內存區域，此內存區域將對操作系統不可見也不再受操作系統管理，數據整合的相關操作都將在這塊內存區域中進行。

磁盤管理模塊：有業務需要時負責接管U盤、光盤、移動硬盤和硬盤等磁盤存儲設備，保證從磁盤存儲設備上讀取的明文形式的業務數據直接進入受內存管理模塊管理的內存區域中接受進一步處理；

顯示管理模塊：有業務需要時負責接管顯示輸出設備，保證數據以安全可控的方式顯示輸出(明文顯示、密文存儲，或可選擇性的顯示部分明文)；

系統管理模塊：現有操作系統沒有的模塊。負責數據整合系統的內部管理，包括：系統訪問管理、用戶和密碼管理、系統權限管理、數字證書管理、密鑰管理、加密算法管理、系統日志管理、系統守護進程管理等，

其特征在于，裝置中還具有：

監聽模塊，適于對計算設備中的輸入輸出設備的讀寫請求進行監聽，等待目標用戶或目標程序的操作；

接管模塊，適于當監聽到所述目標用戶或目標程序進行I/O操作時，通過將數據存放在受控內存來對所述輸入輸出設備進行接管；