[發明專利]一種支持自定義標簽的用戶畫像分析系統

在審

• 申請號: 202011243959.X
• 申請日: 2020-11-10
• 公開（公告）號: CN112148810A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 盧憲政;左賦斌
• 申請（專利權）人: 南京智數云信息科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/21;G06F16/25;G06F9/48
• 代理公司: 南京聚匠知識產權代理有限公司 32339
• 代理人: 劉囝

1.一種支持自定義標簽的用戶畫像分析系統，其特征在于，整個系統分為三層，包括：

源數據層，用于存儲原始業務數據的存儲層；

數據分析層，用于根據用戶自定義配置的標簽/指標，對原始業務數據進行分析處理，并將分析結果加載到數據倉庫和數據應用模塊，以供數據的展示和應用；

數據產品端，基于數據分析層，由用戶自行開發實現數據統計、展示分析；

所述數據分析層包括ODS存儲層、數據處理模塊、數據倉庫和數據應用模塊，所述ODS存儲層是在業務系統和數據倉庫之間形成的一個隔離層，用于接入和存儲多個業務系統的原始數據，并為上層的數據分析引擎提供數據基礎和支撐；

所述數據處理模塊包括標簽元數據管理模塊、任務調度引擎模塊和運行狀態監控模塊，所述標簽元數據管理模塊用于管理描述用戶畫像內各標簽的定義數據；所述任務調度引擎模塊按照時間計劃進行各任務的協調和調度，執行已部署好的數據分析程序，并提供Web監控和管理頁面；

所述數據倉庫基于Hive實現，用于存儲已處理完成的數據，并按主題進行分類；

所述數據應用模塊用于為數據產品端提供數據應用支撐；

所述數據倉庫的數據定期向數據應用模塊進行同步。

2.根據權利要求1所述的一種支持自定義標簽的用戶畫像分析系統，其特征在于，所述ODS存儲層用Hive外部分區表實現，結合具體的業務需求按不同的維度進行分區設計。

3.根據權利要求1所述的一種支持自定義標簽的用戶畫像分析系統，其特征在于，所述標簽元數據是根據實際的業務需求建立的一套數據指標體系，包括統計類指標、規則類指標、算法類指標和機器學習挖掘類指標，所述標簽元數據使用Mysql進行存儲，并對外提供基礎的查詢、新增、修改、刪除接口。

4.根據權利要求1所述的一種支持自定義標簽的用戶畫像分析系統，其特征在于，所述任務調度引擎模塊包括腳本管理、工作流、調度器、腳本插件、UI和API，具體執行流程包括以下步驟：

步驟一、上傳程序包/文件到服務器指定目錄下：用戶自行上傳打包好的Jar包、sh文件、SQL文件；

步驟二、錄入執行腳本：用戶通過UI界面錄入腳本信息，包括名稱、類型、版本、程序包路徑、資源設置、執行環境參數、動態參數；

步驟三、創建工作流：用戶通過UI界面繪制DAG工作流，并配置每個節點的基礎信息和執行順序；

步驟四、創建調度任務：系統根據工作流自動生成調度任務信息，包括Job、Trigger和Scheduler；

步驟五、系統進行任務調度和執行：系統根據生成的調度信息，執行任務調度；

步驟六、保存結果：保存任務調度記錄和任務執行情況。

5.根據權利要求1所述的一種支持自定義標簽的用戶畫像分析系統，其特征在于，所述數據倉庫包括用戶屬性主題庫、用戶行為主題庫、用戶消費主題庫、用戶偏好主題庫和用戶價值主題庫，所述用戶屬性主題庫包括用戶性別、年齡、學歷、收入水平、婚姻狀況和家庭成員情況；所述用戶行為主題庫包括近期出行頻次、近期購物頻次；所述用戶消費主題庫包括近期消費次數、近期消費金額、消費能力；所述用戶偏好主題庫包括常購商品類別、飲食習慣；所述用戶價值主題庫包括根據RFM模型計算出的用戶價值信息。

6.根據權利要求1所述的一種支持自定義標簽的用戶畫像分析系統，其特征在于，所述數據應用層利用ElasticSearch、Redis、Hbase和關系型數據庫作為數據存儲。