[發明專利]分析數據庫的指標文件處理方法及裝置

在審

• 申請號: 201410453740.0
• 申請日: 2014-09-05
• 公開（公告）號: CN104166739A
• 公開（公告）日: 2014-11-26
• 發明（設計）人: 洪超
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 李志剛;吳貴明

技術領域

本發明涉及數據處理領域，具體而言，涉及一種分析數據庫的指標文件處理方法及裝置。

背景技術

數據庫是一個單位或是一個應用領域的通用數據處理系統，它存儲的是屬于企業和事業部門、團體和個人的有關數據的集合。數據庫中的數據是為眾多用戶所共享其信息而建立的，已經擺脫了具體程序的限制和制約。不同的用戶可以按各自的用法使用數據庫中的數據；多個用戶可以同時共享數據庫中的數據資源，即不同的用戶可以同時存取數據庫中的同一個數據。數據共享性不僅滿足了各用戶對信息內容的要求，同時也滿足了各用戶之間信息通信的要求。

分析數據庫常用適當的統計分析方法對收集來的大量數據進行分析，將它們匯總和理解消化，以求最大化地開發數據的功能、發揮數據的作用。分析數據庫為了提取有用的信息和形成結論會對數據加以詳細研究和概括總結。分析數據庫常進行維度處理和指標處理，隨著時間的增長，分析數據庫系統里的某些維度表會極劇增大，如跟廣告相關的來源的大維度表或者是存儲指標的事實維度表，都會隨著時間有明顯的增長。當維度表中數據量增大到一定的量級時，例如，超過千萬或億，分析數據庫對維度表和指標處理的同時進行同步會消耗分析數據庫的資源，增大系統內存壓力，導致分析數據庫自帶的同步功能不穩定，但現有技術里沒有相關的解決方案。

針對分析數據庫在進行維度或指標處理的同時進行同步會消耗分析數據庫的資源，導致分析數據庫自帶的同步功能不穩定的問題，目前尚未提出有效的解決方案。

發明內容

本發明的主要目的在于提供一種分析數據庫的指標文件處理方法及裝置，以解決分析數據庫在進行維度或指標處理的同時進行同步會消耗分析數據庫的資源，導致分析數據庫自帶的同步功能不穩定的問題。

為了實現上述目的，根據本發明的一個方面，提供了一種分析數據庫的指標文件處理方法。根據本發明的分析數據庫的指標文件處理方法包括：對第一數據庫中的指標數據進行處理，其中，第一數據庫保存了一個時間處理周期的數據并且存儲在分析數據庫中，第一數據庫包括第一分區，第一分區包括第一指標文件，指標數據存儲在第一指標文件中；在第二數據庫中創建第二分區，其中，第二分區與第一分區是相對應的分區，第二數據庫是存儲分析數據庫中所有歷史數據的數據庫；將第一指標文件復制至第二分區相對應的指標文件中；將第一指標文件替換第二分區中相對應的指標文件；對第二數據庫中的指標文件進行元數據維護，更新第二數據庫。

進一步地，對第二數據庫中的指標文件進行元數據維護，更新第二數據庫包括：分離第二數據庫與第二數據庫中的指標文件；更新第二數據庫；在第二數據庫中加載第二數據庫中分離的指標文件。

進一步地，對第二數據庫中的指標文件進行元數據維護，更新第二數據庫包括：修改第二數據庫中第二分區對應指標文件中文件的文件名；更新第二數據庫中第二分區對應指標文件中的文件清單，其中，文件清單是統計了第二數據庫第二分區中所有指標文件的文件名；將第二數據庫的數據版本更改為第一數據庫的數據版本；更新第二數據庫。

進一步地，對第二數據庫中的指標文件進行元數據維護，更新第二數據庫包括：獲取第二數據庫中相對應的指標文件的版本信息；修改第二數據庫中相對應的指標文件的版本信息；更新第二數據庫。

進一步地，更新第二數據庫之后還包括：在第二數據庫中進行數據查詢；判斷數據查詢過程是否報錯；在數據查詢過程報錯的情況下，將第一指標文件復制至第二分區相對應的指標文件中；將第一指標文件替換第二分區中相對應的指標文件；對第二數據庫中的指標文件進行元數據維護，更新第二數據庫。

為了實現上述目的，根據本發明的另一方面，提供了一種分析數據庫的指標文件處理裝置。該裝置包括：處理單元，用于對第一數據庫中的指標數據進行處理，其中，第一數據庫保存了一個時間處理周期的數據并且存儲在分析數據庫中，第一數據庫包括第一分區，第一分區包括第一指標文件，指標數據存儲在第一指標文件中；創建單元，用于在第二數據庫中創建第二分區，其中，第二分區與第一分區是相對應的分區，第二數據庫是存儲分析數據庫中所有歷史數據的數據庫；復制單元，用于將第一指標文件復制至第二分區相對應的指標文件中；替換單元，用于將第一指標文件替換第二分區中相對應的指標文件；第一更新單元，用于對第二數據庫中的指標文件進行元數據維護，更新第二數據庫。

進一步地，第一更新單元包括：分離模塊，用于分離第二數據庫與第二數據庫中的指標文件；第一更新模塊，用于更新第二數據庫；加載模塊，用于在第二數據庫中加載第二數據庫中分離的指標文件。