[發(fā)明專利]元數(shù)據(jù)管理的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010598513.2
• 申請(qǐng)日: 2020-06-28
• 公開（公告）號(hào): CN111782886A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計(jì)）人: 向聰
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06F16/901
• 分類號(hào): G06F16/901;G06F16/907
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 謝冬寒

本申請(qǐng)公開了一種元數(shù)據(jù)管理的方法和裝置，屬于大數(shù)據(jù)技術(shù)領(lǐng)域。所述方法包括：獲取目標(biāo)數(shù)據(jù)的存儲(chǔ)信息，其中，目標(biāo)數(shù)據(jù)的存儲(chǔ)信息包括存儲(chǔ)所述目標(biāo)數(shù)據(jù)的目標(biāo)存儲(chǔ)設(shè)備的地址信息和所述目標(biāo)數(shù)據(jù)在所述目標(biāo)存儲(chǔ)設(shè)備下的存儲(chǔ)路徑信息。基于目標(biāo)數(shù)據(jù)的數(shù)據(jù)類型，確定待使用的數(shù)據(jù)連接器，通過待使用的數(shù)據(jù)連接器，基于目標(biāo)數(shù)據(jù)的存儲(chǔ)信息與目標(biāo)存儲(chǔ)設(shè)備建立連接通道，并獲取目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)元數(shù)據(jù)。確定目標(biāo)元數(shù)據(jù)的數(shù)據(jù)類型，并基于目標(biāo)元數(shù)據(jù)的數(shù)據(jù)類型，對(duì)目標(biāo)元數(shù)據(jù)進(jìn)行存儲(chǔ)。通過本申請(qǐng)可以實(shí)現(xiàn)對(duì)元數(shù)據(jù)的采集和歸類存儲(chǔ)管理。

技術(shù)領(lǐng)域

本申請(qǐng)涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種元數(shù)據(jù)管理的方法和裝置。

背景技術(shù)

在企業(yè)中數(shù)據(jù)通常包括技術(shù)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，隨著技術(shù)和業(yè)務(wù)不斷發(fā)展，企業(yè)中所要管理的數(shù)據(jù)也會(huì)不斷增多。管理數(shù)據(jù)的前提是要知道數(shù)據(jù)的相關(guān)屬性信息。

元數(shù)據(jù)是用來描述數(shù)據(jù)的屬性信息的一種數(shù)據(jù)，那么，如果要對(duì)數(shù)據(jù)進(jìn)行管理，首先，要對(duì)數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)進(jìn)行管理。此處，對(duì)于元數(shù)據(jù)的管理可以包括在數(shù)據(jù)源獲取元數(shù)據(jù)，并對(duì)元數(shù)據(jù)進(jìn)行分類管理。

因此，在需要管理的數(shù)據(jù)不斷增多的情況下，急需一種能夠管理元數(shù)據(jù)的方法，來輔助進(jìn)行數(shù)據(jù)管理。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種元數(shù)據(jù)管理的方法和裝置，能夠解決數(shù)據(jù)管理的的問題。所述技術(shù)方案如下：

第一方面，提供了一種元數(shù)據(jù)管理的方法，所述方法包括：

獲取目標(biāo)數(shù)據(jù)的存儲(chǔ)信息，其中，所述目標(biāo)數(shù)據(jù)的存儲(chǔ)信息包括存儲(chǔ)所述目標(biāo)數(shù)據(jù)的目標(biāo)存儲(chǔ)設(shè)備的地址信息和所述目標(biāo)數(shù)據(jù)在所述目標(biāo)存儲(chǔ)設(shè)備下的存儲(chǔ)路徑信息；

基于所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)類型，確定待使用的數(shù)據(jù)連接器；

通過所述待使用的數(shù)據(jù)連接器，基于所述目標(biāo)數(shù)據(jù)的存儲(chǔ)信息與所述目標(biāo)存儲(chǔ)設(shè)備建立連接通道，并獲取所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)元數(shù)據(jù)；

確定所述目標(biāo)元數(shù)據(jù)的數(shù)據(jù)類型，并基于所述目標(biāo)元數(shù)據(jù)的數(shù)據(jù)類型，對(duì)所述目標(biāo)元數(shù)據(jù)進(jìn)行存儲(chǔ)。

在一種可能的實(shí)現(xiàn)方式中，所述基于所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)類型，確定待使用的數(shù)據(jù)連接器，包括：

如果所述目標(biāo)數(shù)據(jù)為結(jié)構(gòu)化技術(shù)數(shù)據(jù)，則獲取Java數(shù)據(jù)庫(kù)連接JDBC數(shù)據(jù)連接器，作為待使用的數(shù)據(jù)連接器；

所述目標(biāo)元數(shù)據(jù)包括所述目標(biāo)數(shù)據(jù)的屬性信息和數(shù)據(jù)整合過程信息中的至少一種，所述目標(biāo)數(shù)據(jù)的屬性信息包括所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的表基本屬性信息、表統(tǒng)計(jì)信息和表字段信息。

在一種可能的實(shí)現(xiàn)方式中，基于所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)類型，確定待使用的數(shù)據(jù)連接器，包括：

如果所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化技術(shù)數(shù)據(jù)，則獲取非結(jié)構(gòu)化連接器，作為待使用的數(shù)據(jù)連接器；

所述目標(biāo)元數(shù)據(jù)包括所述目標(biāo)數(shù)據(jù)的創(chuàng)建時(shí)間、更新時(shí)間、文件大小和文件占用空間。

在一種可能的實(shí)現(xiàn)方式中，所述基于所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)類型，確定待使用的數(shù)據(jù)連接器，包括：

如果所述目標(biāo)數(shù)據(jù)為業(yè)務(wù)數(shù)據(jù)，則獲取業(yè)務(wù)數(shù)據(jù)連接器，作為待使用的數(shù)據(jù)連接器；

所述目標(biāo)元數(shù)據(jù)包括所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)生命周期、所屬產(chǎn)品信息、所屬項(xiàng)目信息和用途信息。

在一種可能的實(shí)現(xiàn)方式中，所述確定所述目標(biāo)元數(shù)據(jù)的數(shù)據(jù)類型，并基于所述目標(biāo)元數(shù)據(jù)的數(shù)據(jù)類型，對(duì)所述目標(biāo)元數(shù)據(jù)進(jìn)行存儲(chǔ)之前，所述方法還包括：

將所述目標(biāo)元數(shù)據(jù)轉(zhuǎn)換為json格式。

在一種可能的實(shí)現(xiàn)方式中，所述確定所述目標(biāo)元數(shù)據(jù)的數(shù)據(jù)類型，并基于所述目標(biāo)元數(shù)據(jù)的數(shù)據(jù)類型，對(duì)所述目標(biāo)元數(shù)據(jù)進(jìn)行存儲(chǔ)，包括：