[發(fā)明專利]符號數(shù)據(jù)分析方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410184644.0
• 申請日: 2014-05-05
• 公開（公告）號: CN105095247B
• 公開（公告）日: 2018-07-17
• 發(fā)明（設計）人: 鮑明曦;朱源;何忠江;鄧麗華;武翊
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 趙倩男

本發(fā)明實施例公開了一種符號數(shù)據(jù)分析方法和系統(tǒng)，其中，方法包括：DB觸發(fā)器監(jiān)測到以行存儲方式存儲數(shù)據(jù)的業(yè)務系統(tǒng)的數(shù)據(jù)庫表發(fā)生數(shù)據(jù)更新時，將數(shù)據(jù)更新信息記錄到日志記錄表中；行列存儲轉換單元實時讀取日志記錄表中更新的數(shù)據(jù)更新信息；若有預設數(shù)據(jù)庫表發(fā)生數(shù)據(jù)更新，從業(yè)務系統(tǒng)的數(shù)據(jù)庫中的相應位置讀取更新數(shù)據(jù)并其同步到以列存儲方式存儲數(shù)據(jù)庫表的數(shù)據(jù)的內存數(shù)據(jù)庫中的對應位置；預設數(shù)據(jù)庫表為預先設定的需要實時同步到內存數(shù)據(jù)庫中的數(shù)據(jù)庫表；數(shù)據(jù)符號分析單元采用符號數(shù)據(jù)分析方法對更新數(shù)據(jù)的預設數(shù)據(jù)庫表的數(shù)據(jù)進行分析，生成更新數(shù)據(jù)的預設數(shù)據(jù)庫表中各指標變量區(qū)間形式的符號數(shù)據(jù)表。本發(fā)明實施例可以實現(xiàn)高效實時的數(shù)據(jù)分析。

技術領域

本發(fā)明涉及計算機技術，尤其是一種符號數(shù)據(jù)分析方法和系統(tǒng)。

背景技術

在傳統(tǒng)的應用系統(tǒng)中，數(shù)據(jù)被存儲在傳統(tǒng)數(shù)據(jù)庫中。當用戶通過應用的前端操作界面發(fā)出對數(shù)據(jù)的操作指令后，應用層從數(shù)據(jù)庫中讀取數(shù)據(jù)在應用層進行邏輯運算，并將運算結果反饋到前端操作界面進行展現(xiàn)或進行下一步的操作。在這個過程中，從數(shù)據(jù)庫中讀取數(shù)據(jù)因為磁盤輸入/輸出(I/O)的性能限制而成為瓶頸，而這一瓶頸在海量數(shù)據(jù)的讀取中體現(xiàn)得尤為突出，基于數(shù)據(jù)倉庫的報表分析就是一個最明顯的例子。存在這一問題的原因是，傳統(tǒng)數(shù)據(jù)庫實際上是將數(shù)據(jù)以文件的形式存儲在磁盤上并為應用提供訪問數(shù)據(jù)的接口。從數(shù)據(jù)庫中讀取數(shù)據(jù)的本質是從磁盤上讀取文件，而在過去幾十年的硬件發(fā)展中，內存和中央處理器(CPU)的性能始終在飛速的提升，只有磁盤I/O的性能提升并不明顯。從磁盤上讀取數(shù)據(jù)的速度是毫秒級。

一般的數(shù)據(jù)分析技術在處理“整齊有序”卻“堆積如山”的數(shù)據(jù)集合時，有很大局限性，主要困難在于兩方面：1)由于樣本點和變量維數(shù)的影響，往往使得計算工作量相當大；2)難以獲得數(shù)據(jù)群點的整體特性。

針對上述兩方面的困難，現(xiàn)有技術提出了一種基于行存儲數(shù)據(jù)倉庫的符號數(shù)據(jù)分析方法，例如《符號數(shù)據(jù)典型相關分析技術及其在股市分析中的應用》(系統(tǒng)工程，第22卷第8期)、《一種海量數(shù)據(jù)的分析技術》(北京航空航天大學學報(社會科學版)第17卷第2期)。符號數(shù)據(jù)分析方法運用“數(shù)據(jù)打包”的思想，在原有的多維樣本空間內，建立更高一級的數(shù)據(jù)階層，從而大大簡化對大樣本集合的運算過程，改變了以往樣本空間的降維往往難以解釋其實際含義的狀況。

在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)，現(xiàn)有基于行存儲數(shù)據(jù)倉庫的符號數(shù)據(jù)分析方法，雖然能有效地對高維變量空間進行降維，提高數(shù)據(jù)處理效果，仍然存在以下問題：

現(xiàn)有基于行存儲數(shù)據(jù)倉庫的符號數(shù)據(jù)分析方法是一個面對業(yè)務系統(tǒng)的非實時數(shù)據(jù)分析，面對如今大數(shù)據(jù)到來，高效實時數(shù)據(jù)分析的要求表現(xiàn)出其局限性，無法實現(xiàn)高效實時的數(shù)據(jù)分析；另外，在進行符號數(shù)據(jù)分析時往往會出現(xiàn)由于數(shù)據(jù)樣本空間選取的不合理會導致數(shù)據(jù)樣本轉換為符號區(qū)間數(shù)據(jù)時數(shù)據(jù)失真。

發(fā)明內容

本發(fā)明實施例所要解決的其中一個技術問題是：提供一種符號數(shù)據(jù)分析方法和系統(tǒng)，以實現(xiàn)高效實時的數(shù)據(jù)分析。

本發(fā)明實施例提供的一種符號數(shù)據(jù)分析方法，包括：

業(yè)務系統(tǒng)的數(shù)據(jù)庫DB觸發(fā)器監(jiān)測業(yè)務系統(tǒng)的數(shù)據(jù)庫表，所述業(yè)務系統(tǒng)的數(shù)據(jù)庫以行存儲方式存儲所述數(shù)據(jù)庫表的數(shù)據(jù)；

響應于監(jiān)測到所述業(yè)務系統(tǒng)的數(shù)據(jù)庫表發(fā)生數(shù)據(jù)更新時，DB觸發(fā)器將表示所述數(shù)據(jù)庫表發(fā)生的數(shù)據(jù)更新情況的數(shù)據(jù)更新信息記錄到日志記錄表中，其中，所述數(shù)據(jù)庫表發(fā)生數(shù)據(jù)更新包括所述數(shù)據(jù)庫表發(fā)生新增、修改或刪除數(shù)據(jù)事件；所述數(shù)據(jù)更新記錄包括發(fā)生數(shù)據(jù)更新的數(shù)據(jù)庫表標識ID和所述發(fā)生數(shù)據(jù)更新的位置信息；

行列存儲轉換單元實時讀取所述日志記錄表中更新的數(shù)據(jù)更新信息；