[發(fā)明專(zhuān)利]能夠采集多種構(gòu)造數(shù)據(jù)源的通用數(shù)據(jù)采集系統(tǒng)及采集方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310459203.2
• 申請(qǐng)日: 2013-09-30
• 公開(kāi)（公告）號(hào): CN103473378A
• 公開(kāi)（公告）日: 2013-12-25
• 發(fā)明（設(shè)計(jì)）人: 蘇丹;高崧;吳佳;李坤;吳舜;聶正璞;許大衛(wèi);杜劍雯;劉昀;來(lái)驥;王黎;李賢;李曉東;李超;劉志偉;楊帆;李雪梅;那瓊瀾
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)家電網(wǎng)公司;國(guó)網(wǎng)冀北電力有限公司信通分公司;北京博望華科科技有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京五月天專(zhuān)利商標(biāo)代理有限公司 11294
• 代理人: 李永聯(lián)

1.一種能夠采集多種構(gòu)造數(shù)據(jù)源的通用數(shù)據(jù)采集系統(tǒng)，包括：數(shù)據(jù)倉(cāng)庫(kù)、采集程序框架和數(shù)據(jù)源，其特征在于，為每個(gè)需要被采集數(shù)據(jù)的數(shù)據(jù)源配設(shè)相應(yīng)的驅(qū)動(dòng)模塊，對(duì)每一個(gè)數(shù)據(jù)源類(lèi)別的實(shí)例編寫(xiě)配置文件，對(duì)每個(gè)實(shí)例分配唯一性標(biāo)識(shí),一個(gè)數(shù)據(jù)源類(lèi)別可對(duì)應(yīng)有多個(gè)實(shí)例，一個(gè)實(shí)例只能對(duì)應(yīng)一種數(shù)據(jù)源類(lèi)型，設(shè)置統(tǒng)一的數(shù)據(jù)存儲(chǔ)格式，每個(gè)驅(qū)動(dòng)模塊需要將采集過(guò)來(lái)的數(shù)據(jù)轉(zhuǎn)化為所述存儲(chǔ)格式以便存儲(chǔ)。

2.根據(jù)權(quán)利要求1所述的通用數(shù)據(jù)采集系統(tǒng)，其特征在于，所述唯一性標(biāo)識(shí)用于確定數(shù)據(jù)從哪個(gè)數(shù)據(jù)源實(shí)例采集，以及在采集過(guò)程中的方法設(shè)置。

3.根據(jù)權(quán)利要求2所述的通用數(shù)據(jù)采集系統(tǒng)，其特征在于，所述方法設(shè)置包括,取最大、取最小或平均。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的通用數(shù)據(jù)采集系統(tǒng)，其特征在于，采集程序框架根據(jù)所述唯一性標(biāo)識(shí)來(lái)決定數(shù)據(jù)采集方式進(jìn)而決定啟動(dòng)哪個(gè)驅(qū)動(dòng)，驅(qū)動(dòng)模塊通過(guò)配置文件來(lái)獲取數(shù)據(jù)來(lái)源信息，采集過(guò)來(lái)的數(shù)據(jù)由采集程序框架統(tǒng)一存儲(chǔ)。

5.根據(jù)權(quán)利要求4所述的通用數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)來(lái)源信息包括IP地址和/或端口。

6.采用權(quán)利要求1-5任一項(xiàng)所述的通用數(shù)據(jù)采集系統(tǒng)進(jìn)行數(shù)據(jù)采集的方法，其特征在于，包括如下步驟：

1)、?取得一個(gè)需要采集數(shù)據(jù)的唯一性標(biāo)識(shí)，根據(jù)唯一性標(biāo)識(shí)取得所需數(shù)據(jù)源；

2)?、采集程序框架在第一次遇到此數(shù)據(jù)源時(shí)，根據(jù)數(shù)據(jù)源所對(duì)應(yīng)的數(shù)據(jù)源類(lèi)型來(lái)加載驅(qū)動(dòng)模塊，同時(shí)加載對(duì)應(yīng)這個(gè)數(shù)據(jù)源的配置文件來(lái)確定數(shù)據(jù)來(lái)源的其它參數(shù)；

3）、采集程序框架根據(jù)唯一性標(biāo)識(shí)取得數(shù)據(jù)采集方法并把這些信息傳遞給驅(qū)動(dòng)模塊，驅(qū)動(dòng)模塊負(fù)責(zé)把數(shù)據(jù)從數(shù)據(jù)源中采集；

4）、采集程序框架接收由驅(qū)動(dòng)模塊采集到的標(biāo)準(zhǔn)數(shù)據(jù)，并存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，其它參數(shù)是端口、用戶名和密碼。

8.根據(jù)權(quán)利要求6或7所述的方法，其特征在于，在步驟2）中，如果是第二次遇到此數(shù)據(jù)源則直接從緩存中取得些數(shù)據(jù)源，不再重新進(jìn)行步驟2）實(shí)例化數(shù)據(jù)源的過(guò)程。