[發明專利]數據電商的一種高效的技術框架

在審

• 申請號: 201510660596.2
• 申請日: 2015-10-14
• 公開（公告）號: CN105260454A
• 公開（公告）日: 2016-01-20
• 發明（設計）人: 王詩華;王傳超;崔樂樂
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q30/06
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及異構非結構化數據融合、大數據分類標準化、RESTAPI接口與權限、數據電商交易支付服務和數據接口流量計費5個技術領域，具體是數據電商的一種高效的技術框架。

背景技術

當今已經是數據大爆炸的時代，各個行業面臨著大部分的問題：

1、集中管理互聯網數據。從無規則、無行業分類的互聯網獲取到針對性的行業價值的信息。

2、海量數據的存儲，快速讀寫與容災。

3、集群管理維護難。原有系統沒有一個從硬件到軟件到服務狀態的整體監控和管理系統。

4、數據分享。通過文件方式、數據庫等重型方式分享數據，并且需要用戶自己開發實現數據API調用。

5、數據交易。數據資源雷同于礦產資源是可以被交易買賣的，需要將數據以可度量的服務方式對外提供支付功能。

6、數據接口計費。傳統的模式只是按文件的形式給第三方提供數據，一次性付費，無法實施更新客戶已交付的數據。

發明內容

為了解決以上的問題，本發明提出了數據電商的一種高效的技術框架；本發明是以大數據開放技術和電商交易技術為基礎，以互聯網模式為第三方和大眾用戶提供數據服務的一種技術框架（稱DataMall框架），該方法用以填補了市面互聯網大數據分享和交易平臺數據成果使用的部分短板。解決了互聯網混合結構數據整理與匯總、面向大眾的數據開放、數據交易支付、數據權限控制、以及數據服務計費等難題。

這種數據電商所依賴的技術框架包含五個子模塊，分別為：混合數據結構的數據整理匯總（dGather）模塊、數據REST開放服務（dOpen）模塊、數據權限控制（dAuth）模塊、數據商品交易服務（dTrade）模塊和數據服務計費（dCharge）模塊。其中，dGather數據整理匯總模塊、dOpen開放模塊和dAuth數據權限控制三部分被定義為DataMall框架數據端（dmall-Data）：負責數據電商數據整合，并提供給用戶可以使用數據的方式；dTrade模塊和dCharge模塊統稱定義為DataMall框架銷售端(dmall-Sale)：負責將可以使用的數據銷售給大眾用戶，并且對數據的使用方式進行計費。

本發明目的是基于“大數據數據工廠、開放數據接口、電商模式交易數據、按實際使用付費”的思路完成大數據的數據交易。將客戶定義的一個數據需求，進行智能的匹配采；將定義好的一個需求主題經過本發明的dmall-data系統進行多任務化為任務集合，集合中任意一個任務可再按維度細化成子任務，按照主從心跳模式由調度節點分配給執行節點執行匯總，對于執行完采集的節點，調度節點主動進行整理，采取分布式存儲，并與行業內部組織數據進行整合分析的技術。同時，將采集到的互聯網數據通過dOpen系統結合dAuth權限方式以輕量級方式分享給用戶，以可度量的dCharge服務方式對外提供dTrade支付交易。

DataMall框架技術實現思路分如下步驟：

步驟1、dGather根據配置參數，自動匹配行業模板及其匯總方法，并回饋給客戶以驗證是否符合要求。如果不符合，提供給用戶自定義數據管理和匯總方法。

步驟2：確定匯總任務模板，dGather中<適配功能>首先接收到這個模板，將模板分解為多個匯總任務，并將每個任務分配給調度監

控集群。

步驟3：匯總整理調度節點根據任務進行按維度劃分，并負責將各個子任務分配給執行節點，同時監控執行情況。對于異常進行動態遷移到正常執行節點。調度節點與執行節點依賴MapReduce計算模型。

步驟4：第三方用戶如果想獲取DMall的數據服務請求，首先通過dAuth進行權限認證，驗證是否為合法用戶，是否有相應的數據權限。

步驟5：通過dAdapter將用戶的請求分解并適配到對應主題所在的節點上，系統將匯總后的結構反饋給用戶。

步驟6：匯總到開放庫的數據通過dOpen模塊開放為第三方接口，同時接入dTrade在線商城交易，完成數據商品推送到用戶。

步驟7：用戶拿到交易數據商品以后，可以通過API接口的方式訪問數據，數據將以json、dmp文件、sql文件等方式返回。同時，系統通過dCharge計費模塊實現數據商品的流量付費功能。

本發明的有益效果是：

數據商品交易