[發(fā)明專(zhuān)利]一種應(yīng)用于數(shù)據(jù)交易的多數(shù)據(jù)源管理系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910834032.4
• 申請(qǐng)日: 2019-09-04
• 公開(kāi)（公告）號(hào): CN110716990A
• 公開(kāi)（公告）日: 2020-01-21
• 發(fā)明（設(shè)計(jì)）人: 湯寒林
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華東江蘇大數(shù)據(jù)交易中心股份有限公司
• 主分類(lèi)號(hào): G06F16/28
• 分類(lèi)號(hào): G06F16/28;G06F16/25
• 代理公司: 31272 上海申新律師事務(wù)所
• 代理人: 俞滌炯

本發(fā)明提供一種應(yīng)用于數(shù)據(jù)交易的多數(shù)據(jù)源管理系統(tǒng)，屬于大數(shù)據(jù)領(lǐng)域，包括信息獲取模塊，用于獲取關(guān)聯(lián)于多數(shù)據(jù)管理系統(tǒng)的每個(gè)數(shù)據(jù)源的相關(guān)信息，相關(guān)信息包括屬性信息和數(shù)據(jù)信息；分類(lèi)模塊，用于根據(jù)預(yù)設(shè)的分類(lèi)策略并基于屬性信息對(duì)數(shù)據(jù)源進(jìn)行分類(lèi)操作得到分類(lèi)結(jié)果；評(píng)級(jí)模塊，用于根據(jù)預(yù)設(shè)的評(píng)級(jí)策略并基于數(shù)據(jù)信息對(duì)數(shù)據(jù)源進(jìn)行評(píng)級(jí)操作得到評(píng)級(jí)結(jié)果；請(qǐng)求處理模塊，用于提供給數(shù)據(jù)請(qǐng)求方輸入請(qǐng)求指令，根據(jù)分類(lèi)結(jié)果和評(píng)級(jí)結(jié)果選定最優(yōu)數(shù)據(jù)獲取路徑；采集模塊，連接請(qǐng)求處理模塊，用于根據(jù)最優(yōu)數(shù)據(jù)獲取路徑從相應(yīng)的數(shù)據(jù)源采集元數(shù)據(jù)并進(jìn)行數(shù)據(jù)處理后得到目標(biāo)數(shù)據(jù)。本發(fā)明的有益效果：有效提高從眾多數(shù)據(jù)源中獲取目標(biāo)數(shù)據(jù)的能力。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)交易技術(shù)領(lǐng)域，尤其涉及一種應(yīng)用于數(shù)據(jù)交易的 多數(shù)據(jù)源管理系統(tǒng)。

背景技術(shù)

海量數(shù)據(jù)的存儲(chǔ)、訪問(wèn)、處理這三大問(wèn)題通常同時(shí)出現(xiàn)，解決其 中一到兩個(gè)問(wèn)題并不能解決復(fù)雜的數(shù)據(jù)管理技術(shù)問(wèn)題。頻繁出現(xiàn)用戶(hù) 訪問(wèn)量大增時(shí)，經(jīng)常導(dǎo)致數(shù)據(jù)處理系統(tǒng)反應(yīng)遲鈍，無(wú)法有效提高從眾 多數(shù)據(jù)源中獲取目標(biāo)數(shù)據(jù)的能力。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明涉及一種應(yīng)用于數(shù)據(jù)交易的 多數(shù)據(jù)源管理系統(tǒng)。

本發(fā)明采用如下技術(shù)方案：

一種應(yīng)用于數(shù)據(jù)交易的多數(shù)據(jù)源管理系統(tǒng)，包括：

信息獲取模塊，用于獲取關(guān)聯(lián)于所述多數(shù)據(jù)管理系統(tǒng)的每個(gè)數(shù)據(jù) 源的相關(guān)信息，所述相關(guān)信息包括屬性信息和數(shù)據(jù)信息；

分類(lèi)模塊，連接所述信息獲取模塊，用于根據(jù)預(yù)設(shè)的分類(lèi)策略并 基于所述屬性信息對(duì)所述數(shù)據(jù)源進(jìn)行分類(lèi)操作得到分類(lèi)結(jié)果；

評(píng)級(jí)模塊，連接所述信息獲取模塊，用于根據(jù)預(yù)設(shè)的評(píng)級(jí)策略并 基于所述數(shù)據(jù)信息對(duì)所述數(shù)據(jù)源進(jìn)行評(píng)級(jí)操作得到評(píng)級(jí)結(jié)果；

請(qǐng)求處理模塊，連接所述分類(lèi)模塊和所述評(píng)級(jí)模塊，用于提供給 數(shù)據(jù)請(qǐng)求方輸入請(qǐng)求指令，根據(jù)所述分類(lèi)結(jié)果和所述評(píng)級(jí)結(jié)果選定最 優(yōu)數(shù)據(jù)獲取路徑；

采集模塊，連接所述請(qǐng)求處理模塊，用于根據(jù)所述最優(yōu)數(shù)據(jù)獲取 路徑從相應(yīng)的所述數(shù)據(jù)源采集所述元數(shù)據(jù)并進(jìn)行數(shù)據(jù)處理后得到目 標(biāo)數(shù)據(jù)。

優(yōu)選的，所述屬性信息包括所述數(shù)據(jù)源的歸屬地信息、歸屬方信 息、采集端口信息以及采集頻率信息。

優(yōu)選的，所述數(shù)據(jù)信息包括所述數(shù)據(jù)源對(duì)應(yīng)的所述源數(shù)據(jù)的數(shù)據(jù) 類(lèi)型信息、是否公開(kāi)信息、修改權(quán)限信息、收費(fèi)信息、歷史客戶(hù)反饋 評(píng)價(jià)信息以及數(shù)據(jù)監(jiān)管方監(jiān)管信息。

優(yōu)選的，所述多數(shù)據(jù)源管理系統(tǒng)還包括：

云平臺(tái)，連接所述多個(gè)數(shù)據(jù)源，用于存儲(chǔ)所述源數(shù)據(jù)，以及執(zhí)行 定時(shí)查缺處理，其中例如通過(guò)程序?qū)Χ嗵讛?shù)據(jù)中心接入的調(diào)度自動(dòng)化 系統(tǒng)的實(shí)時(shí)數(shù)據(jù)表進(jìn)行定時(shí)掃描，以查找丟點(diǎn)數(shù)據(jù)并將丟點(diǎn)數(shù)據(jù)信息 保存起來(lái)。

優(yōu)選的，每個(gè)所述數(shù)據(jù)源分別具有一唯一的標(biāo)識(shí)信息，所述標(biāo)識(shí) 信息包括所述屬性信息和所述數(shù)據(jù)信息；

所述云平臺(tái)中對(duì)應(yīng)每個(gè)所述標(biāo)識(shí)信息具有一唯一的存儲(chǔ)空間，所 述數(shù)據(jù)源的相應(yīng)的所述源數(shù)據(jù)存儲(chǔ)于所述存儲(chǔ)空間。

優(yōu)選的，所述采集模塊包括：

采集單元，用于根據(jù)采集指令從相應(yīng)的所述云平臺(tái)采集所述源數(shù) 據(jù)；

數(shù)據(jù)過(guò)濾單元，連接所述數(shù)據(jù)采集單元，用于根據(jù)預(yù)設(shè)的過(guò)濾策 略對(duì)所述源數(shù)據(jù)進(jìn)行數(shù)據(jù)過(guò)濾；

數(shù)據(jù)封裝單元，連接所述數(shù)據(jù)過(guò)濾單元，用于根據(jù)預(yù)設(shè)的封裝策 略對(duì)經(jīng)過(guò)數(shù)據(jù)過(guò)濾的所述源數(shù)據(jù)進(jìn)行數(shù)據(jù)封裝，以得到目標(biāo)數(shù)據(jù)。