[發(fā)明專利]一種采集目錄元數(shù)據(jù)的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201711146068.0
• 申請(qǐng)日: 2017-11-17
• 公開（公告）號(hào): CN107871009A
• 公開（公告）日: 2018-04-03
• 發(fā)明（設(shè)計(jì)）人: 王震;李連偉
• 申請(qǐng)（專利權(quán)）人: 山東浪潮云服務(wù)信息科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司37100
• 代理人: 李世喆

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種采集目錄元數(shù)據(jù)的方法及裝置。

背景技術(shù)

當(dāng)今社會(huì)已經(jīng)步入了大數(shù)據(jù)時(shí)代，在各個(gè)業(yè)務(wù)單位間實(shí)現(xiàn)數(shù)據(jù)共享，是社會(huì)發(fā)展的必然要求。由于各個(gè)業(yè)務(wù)單位相互孤立，業(yè)務(wù)系統(tǒng)之間相互隔離，故可以進(jìn)行數(shù)據(jù)處理，以實(shí)現(xiàn)業(yè)務(wù)單位間的數(shù)據(jù)共享。

目前，工作人員可以人工抄錄各個(gè)業(yè)務(wù)系統(tǒng)中的目錄元數(shù)據(jù)等信息，進(jìn)而執(zhí)行后續(xù)整理。

但是，業(yè)務(wù)單位通常數(shù)量龐大，使得人工采集目錄元數(shù)據(jù)的效率較低。

發(fā)明內(nèi)容

本發(fā)明提供了一種采集目錄元數(shù)據(jù)的方法及裝置，能夠提高目錄元數(shù)據(jù)的采集效率。

為了達(dá)到上述目的，本發(fā)明是通過如下技術(shù)方案實(shí)現(xiàn)的：

一方面，本發(fā)明提供了一種采集目錄元數(shù)據(jù)的方法，預(yù)設(shè)至少一個(gè)采集任務(wù)定義，以及每一個(gè)所述采集任務(wù)定義對(duì)應(yīng)的采集系統(tǒng)定義和采集規(guī)則定義；還包括：

針對(duì)每一個(gè)所述采集任務(wù)定義均執(zhí)行：根據(jù)當(dāng)前采集任務(wù)定義中的任務(wù)執(zhí)行頻率，周期性的根據(jù)所述當(dāng)前采集任務(wù)定義對(duì)應(yīng)的采集系統(tǒng)定義，登錄信息來源系統(tǒng)；

根據(jù)所述當(dāng)前采集任務(wù)定義對(duì)應(yīng)的目標(biāo)采集規(guī)則定義，確定所述信息來源系統(tǒng)中的待采集字段；

采集所述待采集字段對(duì)應(yīng)的目錄元數(shù)據(jù)信息。

進(jìn)一步地，所述采集系統(tǒng)定義包括：系統(tǒng)訪問地址，和/或，系統(tǒng)訪問登錄信息；

所述采集規(guī)則定義包括：頁面信息、頁面區(qū)域信息和字段信息；

所述確定所述信息來源系統(tǒng)中的待采集字段，包括：根據(jù)所述目標(biāo)采集規(guī)則定義中的頁面信息，利用正則表達(dá)式匹配出所述信息來源系統(tǒng)中的待采集頁面；根據(jù)所述目標(biāo)采集規(guī)則定義中的頁面區(qū)域信息，利用正則表達(dá)式、XPATH(Xml Path Language，可擴(kuò)展標(biāo)記語言路徑語言)、CSS(Cascading Style Sheets，層疊樣式表)選擇器中的任意一種匹配出所述待采集頁面中的待采集頁面區(qū)域；根據(jù)所述目標(biāo)采集規(guī)則定義中的字段信息，利用正則表達(dá)式、XPATH、CSS選擇器中的任意一種匹配出所述待采集頁面區(qū)域中的待采集字段。

進(jìn)一步地，該方法還包括：判斷所述當(dāng)前采集任務(wù)定義中是否定義物化，若是，根據(jù)所述當(dāng)前采集任務(wù)定義中的數(shù)據(jù)源定義，將所述目錄元數(shù)據(jù)信息物化至所述數(shù)據(jù)源定義對(duì)應(yīng)的數(shù)據(jù)庫中；

其中，所述數(shù)據(jù)源定義包括：數(shù)據(jù)源地址、數(shù)據(jù)源訪問登錄信息、數(shù)據(jù)源類型中的任意一種或多種；

所述目錄元數(shù)據(jù)信息的數(shù)據(jù)保存格式為JSON(JavaScript Object Notation，JavaScript對(duì)象標(biāo)記語言)串。

進(jìn)一步地，該方法還包括：在判斷出所述當(dāng)前采集任務(wù)定義中未定義物化時(shí)，以restapi(Representational State Transfer Application Programming Interface，RESTful應(yīng)用程序編程接口)方式或基于SOAP(Simple Object Access Protocol，簡(jiǎn)單對(duì)象訪問協(xié)議)的webservice方式發(fā)布所述目錄元數(shù)據(jù)信息。

進(jìn)一步地，所述采集任務(wù)定義中還包括：任務(wù)名稱、任務(wù)監(jiān)控、失效轉(zhuǎn)移、任務(wù)說明中的任意一種或多種。

另一方面，本發(fā)明提供了一種采集目錄元數(shù)據(jù)的裝置，包括：

設(shè)置單元，用于預(yù)設(shè)至少一個(gè)采集任務(wù)定義，以及每一個(gè)所述采集任務(wù)定義對(duì)應(yīng)的采集系統(tǒng)定義和采集規(guī)則定義；

第一處理單元，用于針對(duì)每一個(gè)所述采集任務(wù)定義均執(zhí)行：根據(jù)當(dāng)前采集任務(wù)定義中的任務(wù)執(zhí)行頻率，周期性的根據(jù)所述當(dāng)前采集任務(wù)定義對(duì)應(yīng)的采集系統(tǒng)定義，登錄信息來源系統(tǒng)；

確定單元，用于根據(jù)所述當(dāng)前采集任務(wù)定義對(duì)應(yīng)的目標(biāo)采集規(guī)則定義，確定所述信息來源系統(tǒng)中的待采集字段；

采集單元，用于采集所述待采集字段對(duì)應(yīng)的目錄元數(shù)據(jù)信息。

進(jìn)一步地，所述采集系統(tǒng)定義包括：系統(tǒng)訪問地址，和/或，系統(tǒng)訪問登錄信息；

所述采集規(guī)則定義包括：頁面信息、頁面區(qū)域信息和字段信息；

所述確定單元，具體用于根據(jù)所述目標(biāo)采集規(guī)則定義中的頁面信息，利用正則表達(dá)式匹配出所述信息來源系統(tǒng)中的待采集頁面；根據(jù)所述目標(biāo)采集規(guī)則定義中的頁面區(qū)域信息，利用正則表達(dá)式、XPATH、CSS選擇器中的任意一種匹配出所述待采集頁面中的待采集頁面區(qū)域；根據(jù)所述目標(biāo)采集規(guī)則定義中的字段信息，利用正則表達(dá)式、XPATH、CSS選擇器中的任意一種匹配出所述待采集頁面區(qū)域中的待采集字段。

進(jìn)一步地，該采集目錄元數(shù)據(jù)的裝置還包括：第二處理單元、物化單元；