[發明專利]一種基于數據平臺的數據控制方法

有效

• 申請號: 201310037541.7
• 申請日: 2013-01-31
• 公開（公告）號: CN103136335A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 蘇萌;柏林森;張韶峰;陳浪仙;龔亮;李渭民
• 申請（專利權）人: 北京千分點信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

1.一種基于數據平臺的數據控制方法，其特征在于，包括：

獲取多個數據平臺的數據并對其進行整合，其中將用戶信息統一為全局唯一標識，將數據項信息統一為全局唯一標識；其中，整合后的數據包括數據平臺的用戶數據及數據項的原始數據，且整合后的數據包括對用戶行為的多維度描述以及對數據項的多維度描述，并包含線上和線下的數據；

對整合后的數據采用分布式處理框架的方式進行處理，并對整合后的數據通過歸一化、規范化和數據清洗操作進行處理，其中歸一化操作是指對數值數據進行歸一化操作；規范化操作是指將數據結構化地組織，保持數據完整性并減少冗余，增進數據的一致性；數據清洗操作是指針對不完整數據、錯誤數據、重復數據進行數據清洗；

提取處理后的數據并進行報表展示。

2.如權利要求1所述的方法，其特征在于，

所述對收集到的多個數據平臺的數據進行整合的步驟，包括：

對整合后的數據進行判別處理，并按照以下行為類目將用戶數據進行歸類并存儲，其中所述行為類目包括用戶瀏覽的頁面，數據項，數據項所屬的類目，當時的數據項設置，提交表單，確認表單，添加收藏和/或登錄注冊的行為類目。

3.如權利要求1所述的方法，其特征在于，

還包括：提取整合后的數據中通過報表配置信息的內存緩存和業務數據集群數據的緩存進行緩存處理，其中，

在配置文件中設定報表配置的前端服務器和后端服務器信息，配置文件為data-context.xml，所述配置文件通過Spring框架的application?Context進行管理，每個報表請求的詳細信息則存儲在數據庫中，當調用業務數據集群監聽服務進行初始化時讀取報表請求的詳細信息并緩存到內存中；

業務數據集群數據的緩存是通過調用業務數據集群的緩存模塊進行緩存，業務主題編號由查詢語句、數據庫源的四個基本連接屬性組成的字符串經過Md5生成編碼值，通過spring的aop面向切片編程方式實現緩存處理。

4.如權利要求3所述的方法，其特征在于，

所述提取處理后的數據并進行報表展示的步驟，包括：

接收用戶發出的展示請求，根據該展示請求進行報表配置，其中，所述展示請求包括主題數據及主題模板，根據展示請求中用戶需要展示的主題模板編號及對應的主題數據編號進行報表配置；其中，主題模板編號是配置管理數據庫中標識數據塊的號碼，每個不同的主題會采用不同的標識碼，屬于不同用戶的主題會標識不同的識別碼；

接收到請求后記錄客戶端識別號，確保返回路徑的正確，然后將請求的主題數據編號發送至高速緩存集群；其中高速緩存集群中存儲最近訪問過的業務數據，通過緩沖列表管理已存的信息；

判斷若高速緩存集群的緩沖列表中存在用戶需要的數據，則根據客戶端識別號將該數據返回給用戶，并生成報表進行展示。

5.如權利要求4所述的方法，其特征在于，

所述提取處理后的數據并進行報表展示的步驟，還包括：

判斷若高速緩存集群的緩沖列表中沒有用戶需要的數據，則將主題數據編號發送至數據路由中間件，通過數據路由中間件確定所需數據在業務數據集群中的位置，并控制業務數據集群將主題數據編號發送至數據服務器，并將返回的主題數據存至高速緩存集群備份；其中數據路由中間件通過路由表的方式維護數據的位置。

6.如權利要求3所述的方法，其特征在于，

所述提取處理后的數據并進行報表展示的步驟中，進一步包括：通過前端-后端獨立控制體系進行控制，其中前端服務器負責控制數據演示的規則與格式，后端服務器負責控制演示數據的訪問與響應。