[發明專利]一種中小型電商大數據平臺

有效

• 申請號: 201911288511.7
• 申請日: 2019-12-12
• 公開（公告）號: CN111061791B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 唐潤華;鄭彥云;董健;劉衛海;宋卉;鄭鎮寧
• 申請（專利權）人: 廣東食品藥品職業學院
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F16/28;G06F16/2458;G06F16/215;G06F21/31;G06F9/48;G06Q30/0201;G06Q30/0202;G06Q40/12
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳宏升;黃磊

1.一種中小型電商大數據平臺，其特征在于：從上到下依次包括運行環境層、基礎設施層、基礎平臺層、用戶網關層、客戶應用層；其中

運行環境層，其為基礎設施層提供運行時環境，包括操作系統和運行時環境；

基礎設施層，其為基礎平臺層提供基礎設施服務；所述基礎設施層包括Zookeeper集群和Hadoop集群：(1)ZooKeeper集群用于命名映射，作為Hadoop集群的命名服務器，基礎平臺層的任務調度控制臺通過命名服務器訪問Hadoop集群中的NameNode，同時具備failover的功能；(2)Hadoop集群是大數據平臺的核心，是基礎平臺層的基礎設施；它提供了HDFS、MapReduce、JobTracker和TaskTracker服務；

基礎平臺層，其為用戶網關層提供基礎服務調用接口；所述基礎平臺層包括任務調度控制臺、HBase和Hive：(1)任務調度控制臺是MapReduce任務的調度中心，分配各種任務執行的順序和優先級；用戶通過調度控制臺提交作業任務，并通過用戶網關層的Hadoop客戶端返回其任務執行的結果；(2)HBase是基于Hadoop的列數據庫，為用戶提供基于表的數據訪問服務；(3)Hive是在Hadoop上的一個查詢服務，用戶通過用戶網關層的Hive客戶端提交類SQL的查詢請求，并通過客戶端的UI查看返回的查詢結果，該接口可提供數據部門準即時的數據查詢統計服務；

用戶網關層，用于為終端客戶提供個性化的調用接口以及用戶的身份認證，是用戶唯一可見的大數據平臺操作入口；終端用戶只有通過用戶網關層提供的接口才可以與大數據平臺進行交互；

客戶應用層，是各種不同的終端應用程序，所述客戶應用層包括各種關系型數據庫，報表，交易行為分析，對賬單，清結算。

2.根據權利要求1所述中小型電商大數據平臺，其特征在于：所述操作系統安裝了CentOS6.5以上版本，且為64位。

3.根據權利要求1所述中小型電商大數據平臺，其特征在于：所述運行環境層將分布式文件系統的數據目錄分布在不同的磁盤分區上。

4.根據權利要求1所述中小型電商大數據平臺，其特征在于：所述Hadoop集群采用雙主節點模式。

5.根據權利要求1所述中小型電商大數據平臺，其特征在于：所述用戶網關層，提供了3個個性化調用接口：

(1)Hadoop客戶端是用戶提交MapReduce作業的入口，并從其UI界面查看返回的處理結果；

(2)Hive客戶端是用戶提交HQL查詢服務的入口，并從其UI界面查看查詢結果；

(3)Sqoop是關系型數據庫與HBase或Hive交互數據的接口，其能夠將關系型數據庫中的數據按照要求導入到HBase或Hive中，以提供用戶可通過HQL進行查詢；同時HBase或Hive或HDFS也能夠將數據導回到關系型數據庫中，以便其他的分析系統進行進一步的數據分析。

6.根據權利要求1所述中小型電商大數據平臺，其特征在于：所述終端應用程序包括：

行為分析程序：將交易數據從關系型數據庫導入到Hadoop集群中，然后根據數據挖掘算法編寫MapReduce作業任務并提交到JobTracker中進行分布式計算，然后將其計算結果放入Hive中；終端用戶通過Hive客戶端提交HQL查詢統計分析的結果；

對賬單程序：將交易數據從關系型數據庫導入到Hadoop集群，然后根據業務規則編寫MapReduce作業任務并提交到JobTracker中進行分布式計算，終端用戶通過Hadoop客戶端提取對賬單結果文件；

清結算程序：將銀聯文件導入HDFS中，然后將之前從關系型數據庫中導入的POSP交易數據進行MapReduce計算，然后將計算結果連接到另外一個MapReduce作業中進行費率及分潤的計算，最后將計算結果導回到關系型數據庫中由用戶觸發商戶劃款。