[發明專利]主內存數據中心數據處理方法

有效

• 申請號: 200710130906.5
• 申請日: 2007-08-23
• 公開（公告）號: CN101136029A
• 公開（公告）日: 2008-03-05
• 發明（設計）人: 宋志軍
• 申請（專利權）人: 南京聯創科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/44
• 代理公司: 南京天翼專利代理有限責任公司
• 代理人: 湯志武;王鵬翔

技術領域

本發明涉及計算機內存數據中心的數據處理方法，尤其是電信級后臺計費帳務大數據量處理方法，特別是主內存數據中心的數據處理方法及構成組件的技術。

背景技術

主內存數據中心(MAIN?MEMORY?DATA?CENTER，簡稱MMDC)組件，是由通用主流數據庫(Oracle，MS?SQL?Server，DB2，MySQL，Sybase，Informix)訪問接口平臺(UDBIFRAMEWORK)和主內存數據中心組成，類似于內存數據庫，但它又有別于內存數據庫。

訪問接口平臺UDBI?FRAMEWORK：是對主流數據庫接口的統一抽象封裝，形成統一的調用接口，接口執行的數據庫查詢語言SQL，通過配置文件配置無需編寫復雜的接口調用，同時還有緩存作用。對配置的SQL還有熱部署(更新，回退)功能。

MMDC是一個存儲數據的中心，分為LOCAL?MEMORY(本地內存)，SHARED?MEMORY(共享內存)，FILE?MAP(文件映射存儲)。MMDC由一個或多個DATASET數據容器組成，相應的DATASET也有3種類型：LOCAL，SHARED，FILEMAP。DATASET類似于數據庫中的TABLE，可以對任意列和列的組合，建立查找索引。

現有技術中，MMDC組件是JAVA或C/C++等語言實現的。相比較，C/C++語言在執行效率上有很大的優勢，但也有一些弊端：

●UDBI?FRAMEWORK

1)目前市場上關系數據庫種類繁多，而且訪問的接口各不相同，如果要建立一個統一的訪問方式，必須要抽象一個統一的訪問接口平臺。

2)處理返回的數據集(resultset)。由于C/C++語言本身的局限性(不支持反射等)，所以不能生成對象直接返回結果集。

3)實際應用中由于需求的變化，和存取數據的要求會對數據庫執行SQL修改或者新增，而對于OLTP系統(聯機事務處理系統/面向交易的處理系統)通常是7*24小時不間斷運行的，不可能頻繁啟停系統，所以要有一種機制保證能熱部署(不啟停系統的情況下更新系統)。

MMDC在結構上還有下述要求：

1)DATASET，數據的存儲組件，類似于數據庫中的表，需要能夠支持動態創建表結構，增加表字段。

2)數據共享方式(LOCAL，SHARED，FILEMAP)。

3)內存使用，C++對象使用內存通常是通過關鍵字NEW方式創建的，而這種方式如果對于大數據量的創建銷毀對象可能會產生內存碎片，影響內存的使用效率。

4)存取方式，對應大數據量訪問不支持列索引。

發明內容

為了解決現有技術中的上述問題，本發明提出了一種主內存數據中心(MMDC)的數據處理方法及組件。

具體技術方案是：一種主內存數據中心(MMDC)的數據處理方法：采用統一數據庫訪問接口即UDBI組件是對主流數據庫接口統一抽象封裝：當系統第一次執行SQL的時候，UDBI會緩存SQL文本及其版本號，如果需要修改，增加SQL，通過PATCH機制更新對應的SQL版本；SQL執行返回的數據集由數據中心單元DATASET組件接受數據；由一個或多個DataSet(數據容器)和保存dataset的結構信息MMDC?head組成的MMDC；DATASET的模式有單個進程中使用LOCAL模式：或可以進程間共享的SHARE模式：根據容器數據地址hash值，B*樹和B+樹索引：建立索引和刪除索引：

bool?dropIndex(const?char?*name)；

DATA?CENTER備份，恢復：

由于MMDC?HEAD保存了數據中心的數據字典，并且該字典信息是共享的，而且是可以序列化的，通過該信息就可以執行備份和恢復；具體方法是UNIX下通過SH腳本發送消息，MMDC通過執行Dump()，Recover()來執行，程序意外退出后，恢復在下次啟動時進行。

DataSet可以通過如下方式建立：通過定義域的存放數據、刪除數據、插入數據的命令建立；每次插入數據的時候，根據目前DATASET的容量判斷是否已經超過已經分配的內存，如果已經超過，就再分配一塊連續的內存，塊的大小在構建DATASET的時候指定(默認為4k)，根據數據量的多少合理指定分配塊的大小可以提高內存分配效率。

根據容器數據地址hash值，B*樹和B+樹索引：建立索引和刪除索引：