[發(fā)明專利]基于大數(shù)據(jù)的數(shù)據(jù)共享交換系統(tǒng)與方法

有效

• 申請?zhí)枺?/td>: 201711449658.0
• 申請日: 2017-12-27
• 公開（公告）號: CN108334547B
• 公開（公告）日: 2020-10-30
• 發(fā)明（設計）人: 張晉偉;丁星;武靜;王一之;王鼎華;王偉
• 申請（專利權(quán)）人: 中電科華云信息技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/242;G06F16/22
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 莊文莉

1.一種基于大數(shù)據(jù)的數(shù)據(jù)共享交換方法，其特征在于，包含以下步驟：

數(shù)據(jù)共享步驟：在門戶端定義數(shù)據(jù)共享服務與申請數(shù)據(jù)共享服務實例，根據(jù)用戶輸入?yún)?shù)進行事件處理；

數(shù)據(jù)交換步驟：在門戶端定義數(shù)據(jù)交換服務與申請數(shù)據(jù)交換服務實例，根據(jù)用戶輸入?yún)?shù)進行事件處理；

所述數(shù)據(jù)共享步驟包含以下步驟：

步驟S1：在門戶端定義數(shù)據(jù)共享服務，定義規(guī)格，所述規(guī)格包含以下任一個或任多個信息：

--數(shù)據(jù)源；

--數(shù)據(jù)庫；

--表；

--列；

步驟S2：在門戶端申請數(shù)據(jù)共享服務實例，所述數(shù)據(jù)共享服務實例包含以下任一個或任多個內(nèi)容：

--選擇多個規(guī)格中任一個規(guī)格的子規(guī)格；

--填寫查詢SQL的條件；

--填寫查詢SQL的條數(shù)；

步驟S3：門戶根據(jù)Isv提供的接入地址，處理事件；

所述步驟S3包含以下步驟：

步驟S3.1：申請事件：Isv根據(jù)輸入?yún)?shù)生成能夠供用戶下載的csv文件，并上傳至HDFS；

步驟S3.2：回收事件：Isv將HDFS上的文件刪除，返回給用戶反應回收成功的信息；

所述步驟S3還包含以下步驟：

查詢事件步驟：Isv重復執(zhí)行Isv根據(jù)輸入?yún)?shù)生成能夠供用戶下載的csv文件，并上傳至HDFS的步驟，將HDFS上存儲的在先文件刪除，返回給用戶反應查詢成功的信息；

所述步驟S3.1包含以下任一個或全部步驟：

--步驟S3.1.1：Isv根據(jù)輸入?yún)?shù)，組裝SQL到對應的大數(shù)據(jù)，查詢所有數(shù)據(jù)共享中的數(shù)據(jù)，將查詢到的數(shù)據(jù)寫入一個csv文件并上傳至HDFS，然后返回給用戶上傳給HDFS的文件下載地址以及查詢到的數(shù)據(jù)部分給用戶用于預覽，實例申請成功后，用戶能夠在對應的數(shù)據(jù)共享服務實例詳情中看到用戶預覽數(shù)據(jù)與能夠下載的csv文件；

--步驟S3.1.2：對Isv根據(jù)輸入?yún)?shù)到大數(shù)據(jù)查詢JDBC的信息與Isv根據(jù)自身組裝好的SQL進行自身分頁查詢數(shù)據(jù)共享的信息，進行每頁數(shù)據(jù)寫一個csv文件的操作，每個文件有個下載地址，將HDFS的文件集下載地址以及查詢到的數(shù)據(jù)部分給用戶進行預覽，實例申請成功后，用戶能夠在對應的數(shù)據(jù)共享服務實例詳情中看到用戶預覽數(shù)據(jù)與能夠下載的csv文件。

2.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)的數(shù)據(jù)共享交換方法，其特征在于，所述數(shù)據(jù)交換步驟包含以下步驟：

步驟E1：在門戶端定義數(shù)據(jù)共享服務，定義規(guī)格，所述規(guī)格包含以下任一個或任多個信息：

--來源的數(shù)據(jù)源；

--來源的數(shù)據(jù)庫；

--來源的表；

--來源的列；

--目標的數(shù)據(jù)源；

--目標的數(shù)據(jù)庫；

--目標的表；

步驟E2：在門戶端申請數(shù)據(jù)交換服務實例，所述數(shù)據(jù)交換服務實例包含以下任一個或任多個內(nèi)容：

--選擇多個規(guī)格中任一個規(guī)格的子規(guī)格；

--填寫查詢SQL的條件；

--填寫查詢SQL的條數(shù)；

步驟E3：門戶根據(jù)Isv提供的接入地址，處理事件；

所述步驟E3包含以下步驟：

步驟E3.1：申請事件：Isv根據(jù)輸入?yún)?shù)，組裝SQL到對應的大數(shù)據(jù)，查詢所有數(shù)據(jù)并給到指定的數(shù)據(jù)庫，返回作業(yè)相關信息給用戶用于預覽，實例申請成功后，用戶能夠在對應的數(shù)據(jù)交換服務實例詳情中看到作業(yè)的情況；

步驟E3.2：回收事件：Isv將大數(shù)據(jù)上的作業(yè)刪除，返回給用戶反應回收成功的信息；

步驟E3.3：查詢事件：Isv查詢作業(yè)的執(zhí)行日志。