[發(fā)明專利]一種基于爬蟲的數(shù)據(jù)源發(fā)現(xiàn)和驗(yàn)證系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910833348.1
• 申請日: 2019-09-04
• 公開（公告）號: CN110688555B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 湯寒林
• 申請（專利權(quán)）人: 華東江蘇大數(shù)據(jù)交易中心股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 上海申新律師事務(wù)所 31272
• 代理人: 俞滌炯

1.一種基于爬蟲的數(shù)據(jù)源發(fā)現(xiàn)和驗(yàn)證系統(tǒng)，其特征在于，包括：

指令生成模塊，用于提供給管理者輸入數(shù)據(jù)源獲取指令，并輸出所述數(shù)據(jù)源獲取指令；

多個(gè)發(fā)現(xiàn)模塊，連接所述指令生成模塊，每個(gè)所述發(fā)現(xiàn)模塊分別關(guān)聯(lián)多個(gè)預(yù)設(shè)的數(shù)據(jù)源集合，用于接收所述數(shù)據(jù)源獲取指令，根據(jù)所述數(shù)據(jù)源獲取指令從相應(yīng)的數(shù)據(jù)源集合中獲取可用數(shù)據(jù)的相關(guān)信息，根據(jù)所述相關(guān)信息的相應(yīng)位置生成索引信息；

信息獲取模塊，連接多個(gè)所述發(fā)現(xiàn)模塊，用于獲取所述索引信息，根據(jù)所述索引信息，并基于爬蟲從至少一個(gè)所述數(shù)據(jù)源集合中獲取存儲有所述可用數(shù)據(jù)的所述數(shù)據(jù)源的屬性信息和所述可用數(shù)據(jù)；

驗(yàn)證模塊，連接所述信息獲取模塊，用于接收所述屬性信息，根據(jù)預(yù)存的驗(yàn)證策略對所述屬性信息進(jìn)行驗(yàn)證操作以判斷所述數(shù)據(jù)源是否為需求數(shù)據(jù)源，并在判斷結(jié)果為是時(shí)向所述信息獲取模塊發(fā)送通過信息，在判斷結(jié)果為否時(shí)向所述信息獲取模塊發(fā)送不通過信息；

策略更新模塊，連接所述驗(yàn)證模塊，由遠(yuǎn)程通信單元和策略存儲單元構(gòu)成，遠(yuǎn)程通信單元用于接收遠(yuǎn)程終端發(fā)送的更新策略，并根據(jù)所述更新策略實(shí)時(shí)動(dòng)態(tài)更新所述策略存儲單元中存儲的所述驗(yàn)證策略；

所述信息獲取模塊接收通過信息后向所述管理者輸出所述數(shù)據(jù)源的所述屬性信息和所述可用數(shù)據(jù)，所述信息獲取模塊接收所述不通過信息后刪除存儲的所述數(shù)據(jù)源的所述屬性信息和所述可用數(shù)據(jù)。

2.根據(jù)權(quán)利要求1的基于爬蟲的數(shù)據(jù)源發(fā)現(xiàn)和驗(yàn)證系統(tǒng)，其特征在于，每個(gè)所述發(fā)現(xiàn)模塊關(guān)聯(lián)的所述數(shù)據(jù)源集合分別具有一唯一的特征信息，所述特征信息包括所述數(shù)據(jù)源的類型信息、歸屬信息以及運(yùn)行信息。

3.根據(jù)權(quán)利要求1的基于爬蟲的數(shù)據(jù)源發(fā)現(xiàn)和驗(yàn)證系統(tǒng)，其特征在于，所述發(fā)現(xiàn)模塊還用于根據(jù)每個(gè)所述發(fā)現(xiàn)模塊生成的所述索引信息生成索引模型；

所述信息獲取還用于獲取所述索引模型，根據(jù)所述索引模型從至少一個(gè)所述數(shù)據(jù)源集合中獲取存儲有所述可用數(shù)據(jù)的所述數(shù)據(jù)源的所述屬性信息和所述可用數(shù)據(jù)。

4.根據(jù)權(quán)利要求3的基于爬蟲的數(shù)據(jù)源發(fā)現(xiàn)和驗(yàn)證系統(tǒng)，其特征在于，利用多個(gè)所述發(fā)現(xiàn)模塊每接收一次所述數(shù)據(jù)源獲取指令后生成的相關(guān)性信息，并基于深度學(xué)習(xí)方法更新所述索引模型。

5.根據(jù)權(quán)利要求1的基于爬蟲的數(shù)據(jù)源發(fā)現(xiàn)和驗(yàn)證系統(tǒng)，其特征在于，所述發(fā)現(xiàn)模塊獲取所述可用數(shù)據(jù)的所述相關(guān)信息的具體步驟包括：

根據(jù)所述數(shù)據(jù)源獲取指令獲取相應(yīng)的目標(biāo)數(shù)據(jù)源的所述屬性信息和數(shù)據(jù)存儲列表；

抽取所述數(shù)據(jù)存儲列表中的有效內(nèi)容，獲取所述有效內(nèi)容對應(yīng)的數(shù)據(jù)集合并進(jìn)行過濾得到所述可用數(shù)據(jù)的所述相關(guān)信息。

6.根據(jù)權(quán)利要求1的基于爬蟲的數(shù)據(jù)源發(fā)現(xiàn)和驗(yàn)證系統(tǒng)，其特征在于，所述信息獲取模塊接收所述不通過信息后向多個(gè)所述發(fā)現(xiàn)模塊發(fā)送誤差信息；

多個(gè)所述發(fā)現(xiàn)模塊接收所述誤差信息后，對關(guān)聯(lián)于誤差信息的多個(gè)所述數(shù)據(jù)源進(jìn)行標(biāo)記，每個(gè)所述發(fā)現(xiàn)模塊再次接收所述數(shù)據(jù)源獲取指令后，根據(jù)所述數(shù)據(jù)源獲取指令從相應(yīng)的所述數(shù)據(jù)源集合中獲取所述可用數(shù)據(jù)的所述相關(guān)信息時(shí)，若存儲所述可用數(shù)據(jù)的所述數(shù)據(jù)源具有所述標(biāo)記，則手動(dòng)判斷是否根據(jù)所述相關(guān)信息的相應(yīng)位置生成所述索引信息。

7.根據(jù)權(quán)利要求1的基于爬蟲的數(shù)據(jù)源發(fā)現(xiàn)和驗(yàn)證系統(tǒng)，其特征在于，所述策略存儲單元采用高速緩存。

8.根據(jù)權(quán)利要求1的基于爬蟲的數(shù)據(jù)源發(fā)現(xiàn)和驗(yàn)證系統(tǒng)，其特征在于，所述驗(yàn)證模塊，根據(jù)預(yù)存的驗(yàn)證策略對所述屬性信息進(jìn)行驗(yàn)證操作以判斷所述數(shù)據(jù)源是否為需求數(shù)據(jù)源的具體步驟包括：

所述驗(yàn)證模塊接收所述屬性信息，所述屬性信息包括數(shù)據(jù)和數(shù)字簽名，所述驗(yàn)證模塊對加密后的所述屬性信息進(jìn)行解密得到解密后的信息，根據(jù)解密后的信息判斷簽名驗(yàn)證是否成功。