[發(fā)明專利]易擴展海量數(shù)據(jù)采集系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210496189.9
• 申請日: 2012-11-28
• 公開（公告）號: CN103853719B
• 公開（公告）日: 2018-05-22
• 發(fā)明（設(shè)計）人: 舒剛
• 申請（專利權(quán)）人: 勤智數(shù)碼科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供了一種易擴展海量數(shù)據(jù)采集系統(tǒng)：包括有數(shù)據(jù)存儲控制器、入庫信息緩存、入庫工作終端管理器、入庫任務(wù)緩存、入庫終端、入庫信息轉(zhuǎn)存文件、配置規(guī)則庫、錯誤信息轉(zhuǎn)存文件；數(shù)據(jù)存儲控制器：負責(zé)接收、分配待入庫信息；入庫工作終端管理器：負責(zé)入庫任務(wù)的接收、分配；入庫終端：入庫終端接收管理器分配的任務(wù)，執(zhí)行入庫操作；配置規(guī)則庫：存儲配置規(guī)則的配置信息，為各個部件在特定情況下做出相應(yīng)的反應(yīng)提供依據(jù)；較現(xiàn)有技術(shù)對海量數(shù)據(jù)入庫過程增加了調(diào)度管理，可顯著改善和提高系統(tǒng)的可擴展性，而且數(shù)據(jù)入庫的準(zhǔn)確性和完整性、數(shù)據(jù)入庫工作的可靠性高。

技術(shù)領(lǐng)域

本發(fā)明涉及IT運維領(lǐng)域，尤其涉及一種易于擴展的數(shù)據(jù)采集系統(tǒng)。

背景技術(shù)

在IT運維領(lǐng)域，數(shù)據(jù)監(jiān)控作為基礎(chǔ)性工作，其準(zhǔn)確度和處理效率對于保證系統(tǒng)運行具有重要的作用，隨著信息系統(tǒng)本身的不斷發(fā)展，數(shù)據(jù)采集量不斷增大，不僅要同時監(jiān)控眾多設(shè)備，且不同的設(shè)備又涉及到諸多的網(wǎng)元指標(biāo)，因此在單位時間內(nèi)，由監(jiān)控系統(tǒng)采集來的網(wǎng)元數(shù)據(jù)量巨大，雖然現(xiàn)有技術(shù)中關(guān)于海量數(shù)據(jù)存儲的方案很多，但在IT運維領(lǐng)域的匹配度不高，缺乏對數(shù)據(jù)任務(wù)的緩存、轉(zhuǎn)存、序列調(diào)整等調(diào)度機制，缺乏針對IT運維工具的、高效的、準(zhǔn)確的、海量的數(shù)據(jù)入庫方案。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種易擴展數(shù)據(jù)采集系統(tǒng)，專門針對IT運維工具的廣泛適用的特點，易于擴展、易于定制，還可提高數(shù)據(jù)入庫的效率和準(zhǔn)確度。

為實現(xiàn)本發(fā)明的目的所采用的方案是，易擴展海量數(shù)據(jù)采集系統(tǒng)：包括有對外入庫信息提交接口和數(shù)據(jù)庫，還包括有數(shù)據(jù)存儲控制器、入庫信息緩存、入庫工作終端管理器、入庫任務(wù)緩存、入庫終端、入庫信息轉(zhuǎn)存文件、配置規(guī)則庫、錯誤信息轉(zhuǎn)存文件；

數(shù)據(jù)存儲控制器：負責(zé)接收、分配待入庫信息，在啟動過程中，掃描并加載入庫信息轉(zhuǎn)存文件中轉(zhuǎn)存的入庫信息；數(shù)據(jù)存儲控制器啟動完畢后，根據(jù)入庫信息緩存中的數(shù)據(jù)條數(shù)，按照配置規(guī)則將入庫信息緩存中的入庫信息以最優(yōu)方式轉(zhuǎn)化封裝成入庫任務(wù)，并提交給入庫工作終端管理器；在系統(tǒng)關(guān)閉過程中，數(shù)據(jù)存儲控制器將入庫信息緩存中的未分配入庫信息，也可以包含被拒絕提交的入庫任務(wù)，轉(zhuǎn)存到入庫信息轉(zhuǎn)存文件中；

入庫工作終端管理器：負責(zé)入庫任務(wù)的接收、分配，在系統(tǒng)啟動后，入庫工作終端管理器接收到數(shù)據(jù)存儲控制器提交的入庫任務(wù)，隨后檢查所屬的入庫終端是否有空閑終端，如果有空閑終端，則進行入庫任務(wù)分法；如果沒有，則還需根據(jù)配置規(guī)則查看任務(wù)緩存中的任務(wù)數(shù)量是否達到了最大的承載數(shù)量，當(dāng)達到了任務(wù)最大承載數(shù)量的時候，再根據(jù)配置規(guī)則中的轉(zhuǎn)存策略將部分入庫任務(wù)轉(zhuǎn)存入庫信息轉(zhuǎn)存文件；當(dāng)該控制器的所屬的入庫終端處于低負載狀態(tài)時，該管理器應(yīng)該通知數(shù)據(jù)存儲控制器，掃描入庫信息轉(zhuǎn)存文件中是否有轉(zhuǎn)存的未入庫的入庫信息；該系統(tǒng)關(guān)閉過程中，該入庫工作終端管理器停止接收新任務(wù)和分配任務(wù)到入庫終端，保存任務(wù)緩存中未分配的入庫任務(wù)到入庫信息轉(zhuǎn)存文件。

入庫終端：入庫終端接收管理器分配的任務(wù)，執(zhí)行入庫操作，在執(zhí)行過程中，如果發(fā)現(xiàn)錯誤的入庫信息，則將該錯誤的入庫信息過濾，并轉(zhuǎn)存到錯誤信息轉(zhuǎn)存文件，然后繼續(xù)執(zhí)行未執(zhí)行完畢的入庫信息，如果發(fā)生存儲異常，比如IO，數(shù)據(jù)庫服務(wù)異常等，則回退所有的數(shù)據(jù)庫操作，并且將該入庫終端正在執(zhí)行的入庫任務(wù)轉(zhuǎn)存到入庫信息轉(zhuǎn)存文件中。

配置規(guī)則庫：存儲配置規(guī)則的配置信息，包括每批最優(yōu)入庫信息數(shù)、等待最優(yōu)信息數(shù)最長時間、最大可承載任務(wù)數(shù)、入庫任務(wù)失敗重試次數(shù)、入庫信息轉(zhuǎn)存策略、入庫信息轉(zhuǎn)存文件、錯誤信息轉(zhuǎn)存文件，為系統(tǒng)運行提供準(zhǔn)則，為各個部件在特定情況下做出相應(yīng)的反應(yīng)提供依據(jù)。

本發(fā)明的工作原理包含如下主要步驟：

1)、配置入庫方法的配置規(guī)則，所述對配置規(guī)則的配置包括設(shè)定：每批最優(yōu)入庫信息數(shù)、等待最優(yōu)信息數(shù)最長時間、最大可承載任務(wù)數(shù)、入庫任務(wù)失敗重試次數(shù)、入庫信息轉(zhuǎn)存策略、入庫信息轉(zhuǎn)存文件、錯誤信息轉(zhuǎn)存文件；