[發(fā)明專利]一種標準服務(wù)平臺分布式并行計算數(shù)據(jù)庫及其檢索方法

有效

• 申請?zhí)枺?/td>: 201410291595.0
• 申請日: 2014-06-26
• 公開（公告）號: CN104090934B
• 公開（公告）日: 2017-09-12
• 發(fā)明（設(shè)計）人: 李鳳龍;劉麗梅;張建凱;楊福萍;王秀芹
• 申請（專利權(quán)）人: 山東金質(zhì)信息技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南舜源專利事務(wù)所有限公司37205
• 代理人: 趙佳民

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，尤其涉及一種標準服務(wù)平臺分布式并行計算數(shù)據(jù)庫。

背景技術(shù)

并行計算（Parallel Computing）是指同時使用多種計算資源解決計算問題的過程，是提高計算機系統(tǒng)計算速度和處理能力的一種有效手段。它的基本思想是用多個處理器來協(xié)同求解同一問題，即將被求解的問題分解成若干個部分，各部分均由一個獨立的處理機來并行計算。并行計算是一臺計算機，配備有多處理機，多處理機之間進行合同協(xié)作計算，最終結(jié)果由一臺計算機處理。并行計算可分為時間上的并行和空間上的并行。時間上的并行就是指流水線技術(shù)，而空間上的并行則是指用多個處理器并發(fā)的執(zhí)行計算。

一個分布式系統(tǒng)是由一組由網(wǎng)絡(luò)聯(lián)結(jié)的具有獨立功能的計算機，在符合某些特定規(guī)則的管理支配下，整個系統(tǒng)在用戶面前呈現(xiàn)為一個透明的整體，可以實現(xiàn)資源共享。分布式計算是多臺聯(lián)網(wǎng)的計算機，有各自的主機和處理器，通過網(wǎng)絡(luò)分配共享計算任務(wù)和計算信息。分布式計算是利用互聯(lián)網(wǎng)上的計算機的CPU的閑置處理能力來解決大型計算問題的一種計算科學(xué)。

隨著信息化建設(shè)的飛速發(fā)展，國家對標準工作的重視，各種結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)飛速增長，標準數(shù)量已經(jīng)達到千萬級別的、甚至更高的海量級別。如何有效的挖掘或檢索標準服務(wù)平臺產(chǎn)生的海量數(shù)據(jù)中相關(guān)的知識或者數(shù)據(jù)成為一個難題。目前，提高標準服務(wù)水平，積極探索標準工作的新思路、新方法，創(chuàng)造性的開展標準信息化工作，做好標準信息化管理與服務(wù)，為企業(yè)服務(wù)、為消費者服務(wù)、為我國經(jīng)濟建設(shè)的發(fā)展服務(wù)。

本發(fā)明針對標準數(shù)量眾多、用戶對標準不熟悉，查詢所需標準精度低等問題，引入分布式和并行計算，提出解決檢索到精確標準數(shù)據(jù)問題的分布式并行內(nèi)存數(shù)據(jù)庫方法，簡單、快速、精準的挖掘用戶所需標準，有效提高了檢索精度。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種標準服務(wù)平臺分布式并行計算數(shù)據(jù)庫，通過分布式結(jié)構(gòu)設(shè)計和并行計算，簡單、快速、精準的挖掘用戶所需標準，有效提高了檢索精度。

為實現(xiàn)上述目的，本發(fā)明采取如下技術(shù)方案：

一種標準服務(wù)平臺分布式并行計算數(shù)據(jù)庫，包括：

節(jié)點數(shù)據(jù)庫服務(wù)器集群，包含若干節(jié)點數(shù)據(jù)庫服務(wù)器，每個節(jié)點數(shù)據(jù)庫服務(wù)器負責所分配節(jié)點數(shù)據(jù)的查詢管理；

調(diào)度中心，用于實現(xiàn)外部標準化數(shù)據(jù)至所述節(jié)點數(shù)據(jù)庫服務(wù)器集群的引導(dǎo)存儲，并將一級緩存中心發(fā)送的查詢檢索命令并行轉(zhuǎn)發(fā)給所有節(jié)點數(shù)據(jù)庫服務(wù)器，然后將所有節(jié)點數(shù)據(jù)庫服務(wù)器查詢檢索結(jié)果進行二次加工篩選后輸送至一級緩存中心；

一級緩存中心，用于提供調(diào)度中心所輸送查詢檢索結(jié)果的臨時存儲，并提供與數(shù)據(jù)庫前端的查詢交互；

監(jiān)控中心，用于實現(xiàn)節(jié)點數(shù)據(jù)庫服務(wù)器集群、調(diào)度中心和一級緩存中心的性能指標的實時監(jiān)控、預(yù)警。

更進一步的，所述調(diào)度中心包括數(shù)據(jù)引導(dǎo)服務(wù)模塊、數(shù)據(jù)匯聚服務(wù)模塊、分布式調(diào)度中心和注冊中心；

所述分布式調(diào)度中心用于對接受到的一級緩存中心發(fā)送的查詢檢索命令利用多主機多核多線程的并行技術(shù)轉(zhuǎn)發(fā)給所有節(jié)點數(shù)據(jù)庫服務(wù)器；

所述數(shù)據(jù)匯聚服務(wù)模塊用于將所有節(jié)點數(shù)據(jù)庫服務(wù)器檢索到的符合查詢檢索要求的檢索結(jié)果抽取匯集到數(shù)據(jù)匯聚服務(wù)模塊，然后按照排序規(guī)則進行排序，截取符合排序要求的數(shù)據(jù)，對查詢檢索結(jié)果進行二次加工篩選后輸送至緩存中心；

所述注冊中心用于維護節(jié)點數(shù)據(jù)庫服務(wù)器相關(guān)元數(shù)據(jù)，并通過心跳、主動通知、人工巡檢機制實現(xiàn)節(jié)點數(shù)據(jù)庫服務(wù)器的監(jiān)控管理；

所述數(shù)據(jù)引導(dǎo)服務(wù)模塊，用于實現(xiàn)外部標準化數(shù)據(jù)至所述節(jié)點數(shù)據(jù)庫服務(wù)器集群的存儲，并聯(lián)合注冊中心、監(jiān)控中心實現(xiàn)節(jié)點數(shù)據(jù)庫服務(wù)器的自動漂移和容災(zāi)功能。

更進一步的，所述自動漂移功能，是當節(jié)點數(shù)據(jù)庫服務(wù)器存儲的標準數(shù)據(jù)容量超出其閾值時，自動溢出轉(zhuǎn)移到其他重新分配的節(jié)點數(shù)據(jù)庫服務(wù)器中；

所述容災(zāi)功能，是每個節(jié)點數(shù)據(jù)庫服務(wù)器下含有多個附屬節(jié)點數(shù)據(jù)庫服務(wù)器與之相連，所述附屬節(jié)點數(shù)據(jù)庫服務(wù)器為其映射服務(wù)器，內(nèi)部標準數(shù)據(jù)完全相同，在當前節(jié)點數(shù)據(jù)庫服務(wù)器不能正常工作時，附屬節(jié)點數(shù)據(jù)庫服務(wù)器自動接替當前模塊完成工作。

更進一步的，所述元數(shù)據(jù)包括節(jié)點數(shù)據(jù)庫服務(wù)器IP、端口號、包含的標準組織及組織下的標準數(shù)據(jù)量。

更進一步的，所述一級緩存中心包括緩存中心、查詢模塊和緩存調(diào)度中心；

所述緩存中心用于提供調(diào)度中心所輸送查詢檢索結(jié)果的臨時存儲；

所述緩存調(diào)度中心用于對緩存中心存儲的標準數(shù)據(jù)存儲提取方式、順序進行管理；