[發(fā)明專(zhuān)利]一種基于元數(shù)據(jù)進(jìn)行數(shù)據(jù)共享的方法及數(shù)據(jù)共享系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011110943.1
• 申請(qǐng)日: 2020-10-16
• 公開(kāi)（公告）號(hào): CN112199431A
• 公開(kāi)（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 謝進(jìn)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 成都房聯(lián)云碼科技有限公司
• 主分類(lèi)號(hào): G06F16/25
• 分類(lèi)號(hào): G06F16/25;G06F16/22;G06F16/245;G06F16/28;G06F21/46;G06F21/60
• 代理公司: 成都金英專(zhuān)利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

1.一種基于元數(shù)據(jù)進(jìn)行數(shù)據(jù)共享的方法，其特征在于，包括以下步驟：

步驟一：數(shù)據(jù)資源初始化，通過(guò)數(shù)據(jù)資源初始化子程序讀取數(shù)據(jù)庫(kù)的表以及ER關(guān)系，形成基礎(chǔ)的元數(shù)據(jù)，并對(duì)元數(shù)據(jù)進(jìn)行添加注釋?zhuān)R關(guān)系，刪除元數(shù)據(jù)中的無(wú)用表和字段；

步驟二：配置數(shù)據(jù)集，獲取頁(yè)面數(shù)據(jù)資源目錄，根據(jù)數(shù)據(jù)資源目錄與數(shù)據(jù)庫(kù)中表的映射關(guān)系，生成數(shù)據(jù)集的查詢(xún)sql并配置sql生成數(shù)據(jù)集；

步驟三：配置數(shù)據(jù)共享任務(wù)，對(duì)每一個(gè)數(shù)據(jù)集構(gòu)建一個(gè)pandas的dataFrame，將多個(gè)數(shù)據(jù)集之間通過(guò)dataFrame進(jìn)行關(guān)聯(lián)，并將關(guān)聯(lián)后的多個(gè)數(shù)據(jù)集配置在一個(gè)數(shù)據(jù)共享任務(wù)中；

步驟四：發(fā)布數(shù)據(jù)共享任務(wù)，選取數(shù)據(jù)發(fā)布方式，加載yaml配置文件至對(duì)應(yīng)模板程序，并制作容器鏡像，推送鏡像至私有鏡像倉(cāng)庫(kù)，選擇部署方式部署相應(yīng)的數(shù)據(jù)共享程序，發(fā)布數(shù)據(jù)共享任務(wù)；

步驟五：數(shù)據(jù)共享交換，數(shù)據(jù)發(fā)布機(jī)構(gòu)首先對(duì)數(shù)據(jù)集進(jìn)行加密，同時(shí)數(shù)據(jù)共享機(jī)構(gòu)完成注冊(cè)并提交數(shù)據(jù)共享權(quán)限請(qǐng)求，請(qǐng)求通過(guò)之后接收共享數(shù)據(jù)選擇數(shù)據(jù)共享任務(wù)，與數(shù)據(jù)發(fā)布機(jī)構(gòu)之間進(jìn)行數(shù)據(jù)共享秘鑰分配，接收數(shù)據(jù)配置信息，根據(jù)分配的共享密鑰對(duì)加密數(shù)據(jù)集進(jìn)行解密，并以惰性加載的方式加載解密后的數(shù)據(jù)集，完成數(shù)據(jù)共享。

2.根據(jù)權(quán)利要求1所述一種基于元數(shù)據(jù)進(jìn)行數(shù)據(jù)共享的方法，其特征在于，所述步驟四中的數(shù)據(jù)發(fā)布方式包括RESTFul接口推送方式、庫(kù)表推送方式和消息推送方式；

所述RESTFul接口推送方式采用配置程序會(huì)讀取數(shù)據(jù)集對(duì)應(yīng)的sql，然后將sql寫(xiě)入RESTFul接口 yaml配置文件；

所述庫(kù)表推送方式通過(guò)讀取數(shù)據(jù)集的sql，同時(shí)可以配置ETL節(jié)點(diǎn)數(shù)量、每個(gè)節(jié)點(diǎn)的并發(fā)數(shù)量以及執(zhí)行計(jì)劃，將配置數(shù)據(jù)一并寫(xiě)入ETL程序yaml配置文件；

所述消息推送方式首先配置推送的數(shù)據(jù)集，配置消息讀取頻率，以及目標(biāo)端消息中間類(lèi)型，將配置數(shù)據(jù)一并寫(xiě)入消息推送程序yaml配置文件。

3.根據(jù)權(quán)利要求1所述一種基于元數(shù)據(jù)進(jìn)行數(shù)據(jù)共享的方法，其特征在于，所述步驟四中數(shù)據(jù)共享程序的部署方式包括容器部署和k8s部署；所述容器部署用于部署庫(kù)表推送方式和消息推送方式發(fā)布的數(shù)據(jù)共享任務(wù)；所述k8s部署用于以集群方式部署RESTFul接口推送方法發(fā)布的數(shù)據(jù)共享任務(wù)。

4.根據(jù)權(quán)利要求3所述一種基于元數(shù)據(jù)進(jìn)行數(shù)據(jù)共享的方法，其特征在于，所述容器部署的部署過(guò)程具體包括：加載yaml配置文件至對(duì)應(yīng)模板程序，制作容器鏡像并推送鏡像至私有鏡像倉(cāng)庫(kù)，通過(guò)paramiko ssh到手動(dòng)指定或自動(dòng)分配的服務(wù)器。

5. 根據(jù)權(quán)利要求3所述一種基于元數(shù)據(jù)進(jìn)行數(shù)據(jù)共享的方法，其特征在于，所述k8s部署的部署過(guò)程具體包括：加載yaml配置文件至對(duì)應(yīng)模板程序，制作容器鏡像并推送鏡像至私有鏡像倉(cāng)庫(kù)，同時(shí)制作k8s deployment部署yaml文件，最后通過(guò)paramiko將deployment部署yaml文件上傳至k8s管理客戶(hù)端所在服務(wù)器，執(zhí)行k8s deployment部署命令，生成deployment。

6.根據(jù)權(quán)利要求1所述一種基于元數(shù)據(jù)進(jìn)行數(shù)據(jù)共享的方法，其特征在于，所述步驟五中數(shù)據(jù)發(fā)布機(jī)構(gòu)首先對(duì)數(shù)據(jù)集進(jìn)行加密的過(guò)程包括：數(shù)據(jù)發(fā)布機(jī)構(gòu)先讀取數(shù)據(jù)集數(shù)據(jù)，通過(guò)yaml配置文件選擇加密字段，并隨機(jī)生成24位由ascii字符+數(shù)字形式的字符串作為3DES的密碼，通過(guò)24位密碼長(zhǎng)度的3DES密碼對(duì)所選加密字段的數(shù)據(jù)進(jìn)行加密，最后通過(guò)rsa公鑰文件加密24位3DES密碼，并添加至共享數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述一種基于元數(shù)據(jù)進(jìn)行數(shù)據(jù)共享的方法，其特征在于，所述步驟五中數(shù)據(jù)共享機(jī)構(gòu)根據(jù)分配的共享密鑰對(duì)加密數(shù)據(jù)集進(jìn)行解密過(guò)程包括：通過(guò)數(shù)據(jù)發(fā)布機(jī)構(gòu)分配的rsa私鑰解密3DES_CODE的數(shù)據(jù)，獲取3DES的密碼，并對(duì)加密數(shù)據(jù)集利用3DES解密算法進(jìn)行解密，獲取解密后的數(shù)據(jù)集。

8.一種基于元數(shù)據(jù)進(jìn)行數(shù)據(jù)共享的系統(tǒng)，其特征在于，包括

數(shù)據(jù)初始化模塊，用于讀取數(shù)據(jù)庫(kù)的表以及ER關(guān)系，生成基礎(chǔ)的元數(shù)據(jù)，并對(duì)元數(shù)據(jù)進(jìn)行注釋添加，ER關(guān)系建立，元數(shù)據(jù)中的無(wú)用表和字段刪除操作；

數(shù)據(jù)集配置模塊，用于獲取頁(yè)面數(shù)據(jù)資源目錄，根據(jù)數(shù)據(jù)資源目錄與數(shù)據(jù)庫(kù)中表的映射關(guān)系，生成數(shù)據(jù)集的查詢(xún)sql；

數(shù)據(jù)共享任務(wù)配置模塊，用于對(duì)每一個(gè)數(shù)據(jù)集構(gòu)建一個(gè)pandas的dataFrame，將多個(gè)數(shù)據(jù)集之間通過(guò)dataFrame進(jìn)行關(guān)聯(lián)，并將關(guān)聯(lián)后的多個(gè)數(shù)據(jù)集配置在一個(gè)數(shù)據(jù)共享任務(wù)中；

任務(wù)發(fā)布模塊，用于選取數(shù)據(jù)發(fā)布方式，加載yaml配置文件至對(duì)應(yīng)模板程序，并制作容器鏡像，推送鏡像至私有鏡像倉(cāng)庫(kù)，選擇部署方式部署相應(yīng)的數(shù)據(jù)共享程序，發(fā)布數(shù)據(jù)共享任務(wù)；

數(shù)據(jù)共享管理模塊，用于為數(shù)據(jù)共享機(jī)構(gòu)提供注冊(cè)和數(shù)據(jù)共享權(quán)限請(qǐng)求提交服務(wù)，以及審批數(shù)據(jù)共享請(qǐng)求和管理共享數(shù)據(jù)發(fā)送。